news 2026/5/11 14:29:44

一套万能通用的异步处理方案

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
一套万能通用的异步处理方案

前言

良好的系统设计必须要做到开闭原则,随着业务的不断迭代更新,核心代码也会被不断改动,出错的概率也会大大增加。但是大部分增加的功能都是在扩展原有的功能,既要保证性能又要保证质量,我们往往都会使用异步线程池来处理,然而却增加了很多不确定性因素。由此我设计了一套通用的异步处理 SDK,可以很轻松的实现各种异步处理!

目的

通过异步处理不仅能够保证方法能够得到有效的执行而且不影响主流程

更重要的是各种兜底方法保证数据不丢失,从而达到最终一致性

优点

无侵入设计,独立数据库,独立定时任务,独立消息队列,独立人工执行界面(统一登录认证)

使用 spring 事务事件机制,即使异步策略解析失败也不会影响业务

如果你的方法正在运行事务,会等事务提交后或回滚后再处理事件

就算事务提交了,异步策略解析失败了,我们还有兜底方案执行(除非数据库有问题,消息队列有问题,方法有 bug)

原理

容器初始化 bean 完成后遍历所有方法,把有@AsyncExec注解的方法缓存起来

方法运行时通过 AOP 切面发布事件

事务事件监听处理异步执行策略

@TransactionalEventListener(fallbackExecution = true, phase = TransactionPhase.AFTER_COMPLETION)
  • fallbackExecution=true没有事务正在运行,依然处理事件

  • TransactionPhase.AFTER_COMPLETION事务提交后和事务回滚后都处理事件

组件

  • kafka 消息队列

  • xxl job 定时任务

  • mysql 数据库

  • spring 切面

  • vue 界面

设计模式

  • 策略

  • 模板方法

  • 动态代理

流程图

数据库脚本

CREATETABLE`async_scene` ( `id`bigintNOTNULL AUTO_INCREMENT COMMENT'主键ID', `application_name`varchar(100) NOTNULLDEFAULT''COMMENT'应用名称', `method_sign`varchar(50) NOTNULLDEFAULT''COMMENT'方法签名', `scene_name`varchar(200) NOTNULLDEFAULT''COMMENT'业务场景描述', `async_type`varchar(50) NOTNULLDEFAULT''COMMENT'异步策略类型', `queue_name`varchar(200) NOTNULLDEFAULT''COMMENT'队列名称', `theme_value`varchar(100) NOTNULLDEFAULT''COMMENT'消费主题', `exec_count`intNOTNULLDEFAULT'0'COMMENT'失败重试次数', `exec_deleted`intNOTNULLDEFAULT'0'COMMENT'执行后是否删除', `async_version`varchar(50) NOTNULLDEFAULT''COMMENT'组件版本号', `create_time` datetime NOTNULLDEFAULTCURRENT_TIMESTAMPCOMMENT'创建时间', `update_time` datetime NOTNULLDEFAULTCURRENT_TIMESTAMPCOMMENT'更新时间', `cdc_crt_time` datetime NOTNULLDEFAULTCURRENT_TIMESTAMPCOMMENT'记录新增时间', `cdc_upd_time` datetime NOTNULLDEFAULTCURRENT_TIMESTAMPONUPDATECURRENT_TIMESTAMPCOMMENT'记录修改时间', PRIMARY KEY (`id`) USING BTREE, UNIQUEKEY`uk_application_sign` (`application_name`,`method_sign`) USING BTREE, KEY`idx_cdc_upd_time` (`cdc_upd_time`) ) ENGINE=InnoDBCOMMENT='异步场景表'; CREATETABLE`async_req` ( `id`bigintNOTNULL AUTO_INCREMENT COMMENT'主键ID', `application_name`varchar(100) NOTNULLDEFAULT''COMMENT'应用名称', `sign`varchar(50) NOTNULLDEFAULT''COMMENT'方法签名', `class_name`varchar(200) NOTNULLDEFAULT''COMMENT'全路径类名称', `method_name`varchar(100) NOTNULLDEFAULT''COMMENT'方法名称', `async_type`varchar(50) NOTNULLDEFAULT''COMMENT'异步策略类型', `exec_status`tinyintNOTNULLDEFAULT'0'COMMENT'执行状态 0:初始化 1:执行失败 2:执行成功', `exec_count`intNOTNULLDEFAULT'0'COMMENT'执行次数', `param_json` longtext COMMENT'请求参数', `remark`varchar(200) NOTNULLDEFAULT''COMMENT'业务描述', `create_time` datetime NOTNULLDEFAULTCURRENT_TIMESTAMPCOMMENT'创建时间', `update_time` datetime NOTNULLDEFAULTCURRENT_TIMESTAMPCOMMENT'更新时间', PRIMARY KEY (`id`) USING BTREE, KEY`idx_applocation_name` (`application_name`) USING BTREE, KEY`idx_exec_status` (`exec_status`) USING BTREE ) ENGINE=InnoDBDEFAULTCHARSET=utf8mb4 COMMENT='异步处理请求'; CREATETABLE`async_log` ( `id`bigintNOTNULL AUTO_INCREMENT COMMENT'主键ID', `async_id`bigintNOTNULLDEFAULT'0'COMMENT'异步请求ID', `error_data` longtext COMMENT'执行错误信息', `create_time` datetime NOTNULLDEFAULTCURRENT_TIMESTAMPCOMMENT'创建时间', PRIMARY KEY (`id`) USING BTREE, KEY`idx_async_id` (`async_id`) USING BTREE ) ENGINE=InnoDBDEFAULTCHARSET=utf8mb4 COMMENT='异步处理日志';

异步策略

安全级别

执行状态

流程图

apollo 配置

# 开关:默认关闭 async.enabled=true # 应用名称 spring.application.name=xxx # 数据源 druid async.datasource.driver-class-name=com.mysql.jdbc.Driver async.datasource.url=jdbc:mysql://127.0.0.1:3306/fc_async?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&useSSL=false&allowMultiQueries=true&rewriteBatchedStatements=true async.datasource.username=user async.datasource.password=xxxx async.datasource.filters=config async.datasource.connectionProperties=config.decrypt=true;config.decrypt.key=yyy #静态地址 spring.resources.add-mappings=true spring.resources.static-locations=classpath:/static/ # 以下配置都有默认值 # 核心线程数 async.executor.thread.corePoolSize=10 # 最大线程数 async.executor.thread.maxPoolSize=50 # 队列容量 async.executor.thread.queueCapacity=10000 # 活跃时间 async.executor.thread.keepAliveSeconds=600 # 执行成功是否删除记录:默认删除 async.exec.deleted=true # 自定义队列名称前缀:默认应用名称 async.topic=${spring.application.name} # 重试执行次数:默认5次 async.exec.count=5 # 重试最大查询数量 async.retry.limit=100 # 补偿最大查询数量 async.comp.limit=100 # 登录拦截:默认false async.login=false

用法

1,异步开关
scm.async.enabled=true
2,在需要异步执行的方法加注解 (必须是spring代理方法)
@AsyncExec(type = AsyncExecEnum.SAVE_ASYNC, remark = "数据字典")
3,人工处理地址

http://localhost:8004/async/index.html

注意

1,应用名称
spring.application.name
2,队列名称
${async.topic:${spring.application.name}}_async_queue
3,自己业务要做幂等
4,一个应用公用一个队列

自产自消

5,定时任务
  • 异步重试定时任务(2分钟重试一次,可配置重试次数)

  • 异步补偿定时任务(一小时补偿一次,创建时间在一小时之前的)

效果展示

GitHub 地址

https://github.com/xiongyanokok/fc-async

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/8 11:22:19

还在手动搭Maven多模块?这款IDEA插件让我效率提升10倍(真实体验)

引言最近带团队做新项目,发现刚毕业的学弟还在用最原始的方式搭建Maven多模块项目——手动建文件夹、写pom依赖、调整目录结构...整整折腾了一下午,连基础框架都没搭好。不光是新人,我们这些工作好几年的老鸟每次开新项目也得重复这些机械操作…

作者头像 李华
网站建设 2026/5/10 18:52:20

适用于LiblibLiblibTV跨项目的商业化体系重构实践

背景 1. 业务动机:为什么需要跨项目复用 本 monorepo 中有两个面向用户的产品: 主站项目:社区型 Web 应用,提供模型浏览、AI 生图/生视频、训练等核心功能,是最早的产品形态TV 项目:面向大屏/新场景的独立应…

作者头像 李华
网站建设 2026/5/9 18:54:36

App 的消亡与 Agent 的崛起:OpenClaw 启示录与本地化 AI 的反叛

在 GitHub 上一夜之间斩获 16 万颗星并非偶然,OpenClaw 的爆发式增长揭示了 AI 领域正在发生的一场静悄悄的变革。当整个行业还在卷大模型的参数量与云端算力时,OpenClaw 以一种反直觉的姿态——本地化运行、全权限掌控、去中心化数据——撕开了通往 2026 年的缝隙。这不仅是…

作者头像 李华
网站建设 2026/5/9 4:48:15

ollama部署Phi-4-mini-reasoning:轻量级推理模型5分钟快速上手

ollama部署Phi-4-mini-reasoning:轻量级推理模型5分钟快速上手 1. 引言:当推理能力遇上轻量级部署 在AI模型日益庞大的今天,一个有趣的问题出现了:我们是否能在资源受限的设备上,运行一个真正擅长“思考”的模型&…

作者头像 李华