news 2026/3/7 11:39:55

SpringCloud如何处理1T超大文件上传的跨平台兼容性

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
SpringCloud如何处理1T超大文件上传的跨平台兼容性

国密SM4大文件传输系统技术方案（第一人称专业版）

一、项目背景与核心需求

作为北京某国企技术负责人，我司目前承担某部委级政府招投标项目，需在国产化信创环境下实现100GB级文件安全传输，核心需求包括：

  1. 国密算法支持：全程采用SM4加密传输与存储
  2. 全浏览器兼容：需支持IE8及国产浏览器（奇安信/红莲花/龙芯）
  3. 信创生态适配：
    • 数据库：达梦DM8/人大金仓V8/MySQL 8/Oracle 19c/SQL Server 2019
    • 操作系统：中标麒麟/统信UOS/银河麒麟
    • 中间件：东方通TongWeb/金蝶Apusic
  4. 源码级可控：需获取完整源代码满足军工单位审计要求
  5. 自研扩展能力：需保留二次开发接口（如与CA数字证书集成）
二、技术选型与架构设计
1. 分层架构设计

用户终端

Web前端

JSP服务端

国密加密服务

分布式存储

SM4硬件加速卡

2. 关键组件选型
组件类型选型方案国产化适配说明
前端框架Vue2.6 + jQuery 1.12（IE8兼容）通过polyfill实现ES5兼容
文件分片泽优大文件上传控件兼容包含IE8在内的所有浏览器
国密算法库GMSSL 2.5（开源）编译生成WebAssembly模块供前端调用
服务端框架Spring Boot 2.7（兼容JSP）通过Tomcat 9.0.x支持JSP
数据库中间件MyBatis-Plus 3.5 + ShardingSphere支持多数据源动态切换
三、核心代码实现
1. 前端SM4加密分片上传（Vue2示例）
// 国密加密工具类（WebAssembly封装）classSM4Crypto{constructor(){this.module=null;this.initPromise=this._loadWasm();}async_loadWasm(){this.module=awaitimport('./sm4.wasm');returnthis.module;}asyncencrypt(data,key){awaitthis.initPromise;constptr=this.module._malloc(data.length);this.module.HEAPU8.set(newUint8Array(data),ptr);constkeyPtr=this.module._malloc(32);this.module.HEAPU8.set(newUint8Array(key.padEnd(32,0)),keyPtr);constencryptedPtr=this.module._sm4_encrypt(ptr,data.length,keyPtr);constresult=newUint8Array(this.module.HEAPU8.buffer,encryptedPtr,Math.ceil(data.length/16)*16);this.module._free(ptr);this.module._free(keyPtr);returnresult;}}// 文件分片处理组件exportdefault{methods:{asyncuploadFile(file){constCHUNK_SIZE=4*1024*1024;// 4MB分片constcrypto=newSM4Crypto();constkey='32字节密钥1234567890';// 实际应从CA获取for(letoffset=0;offset<file.size;offset+=CHUNK_SIZE){constchunk=file.slice(offset,offset+CHUNK_SIZE);constrawData=awaitchunk.arrayBuffer();constencrypted=awaitcrypto.encrypt(rawData,key);constformData=newFormData();formData.append('file',newBlob([encrypted]));formData.append('chunkIndex',offset/CHUNK_SIZE);formData.append('totalChunks',Math.ceil(file.size/CHUNK_SIZE));formData.append('fileId',this.generateFileId());awaitaxios.post('/api/upload',formData,{headers:{'X-Requested-With':'XMLHttpRequest'}});}}}}
2. 服务端JSP分片处理（Spring Boot Controller）
@RestController@RequestMapping("/api")publicclassFileUploadController{@Value("${file.storage.path}")privateStringstoragePath;@PostMapping("/upload")publicResponseEntityhandleChunk(@RequestParam("file")MultipartFilefile,@RequestParamLongchunkIndex,@RequestParamLongtotalChunks,@RequestParamStringfileId){try{// 1. 创建临时目录PathtempDir=Paths.get(storagePath,"temp",fileId);Files.createDirectories(tempDir);// 2. 保存分片文件（实际需先SM4解密）PathchunkPath=tempDir.resolve("chunk_"+chunkIndex);Files.write(chunkPath,file.getBytes());// 3. 检查是否所有分片已上传if(chunkIndex==totalChunks-1){mergeFiles(tempDir,fileId);returnResponseEntity.ok().body(Map.of("status","completed"));}returnResponseEntity.ok().body(Map.of("status","accepted"));}catch(IOExceptione){returnResponseEntity.status(500).build();}}privatevoidmergeFiles(PathtempDir,StringfileId)throwsIOException{// 实际实现需包含：// 1. SM4解密每个分片// 2. 按顺序合并文件// 3. 写入最终存储路径（达梦数据库可存储文件元数据）// 4. 清理临时文件}}
3. 达梦数据库适配示例（MyBatis Mapper）
INSERT INTO SECURE_FILE ( FILE_ID, FILE_NAME, FILE_SIZE, SM4_KEY_ID, UPLOAD_TIME, UPLOADER ) VALUES ( #{fileId}, #{fileName}, #{fileSize}, #{sm4KeyId}, SYSDATE, #{uploader} ) SELECT * FROM ( SELECT a.*, ROWNUM rn FROM ( SELECT * FROM SECURE_FILE WHERE UPLOADER = #{uploader} ORDER BY UPLOAD_TIME DESC ) a WHERE ROWNUM <= #{endRow} ) WHERE rn > #{startRow}
四、关键问题解决方案

  1. IE8兼容方案：

    • 使用jQuery 1.12 + ES5-shim
    • 通过Flash实现文件API回退（已获授权）
    • 采用XMLHttpRequest Level 2模拟Fetch API

  2. 国密性能优化：

    • 服务端部署飞天诚信SM4加速卡
    • 前端通过WebAssembly实现加密运算
    • 采用多线程分片处理（Web Worker）

  3. 信创数据库适配：

    // 动态数据源路由示例publicclassDynamicDataSourceextendsAbstractRoutingDataSource{@OverrideprotectedObjectdetermineCurrentLookupKey(){returnDatabaseContextHolder.getDatabaseType();// 达梦/人大金仓/MySQL}}
五、项目实施计划

  1. 第一阶段（2周）：

    • 完成GMSSL的WebAssembly封装
    • 搭建达梦+MySQL双活测试环境
    • 实现基础分片上传功能

  2. 第二阶段（3周）：

    • 开发SM4加密存储模块
    • 完成国产浏览器兼容性测试
    • 实现断点续传功能

  3. 第三阶段（1周）：

    • 压力测试（100并发上传10GB文件）
    • 编写安全审计日志模块
    • 整理源代码交付文档
六、风险评估与应对
风险项应对方案
GMSSL编译失败预留OpenSSL 1.1.1回退方案（已获商用许可）
国产浏览器插件限制与浏览器厂商联合调试，采用NPAPI插件方案
大文件内存溢出实现流式分片处理，避免内存中保留完整文件
信创硬件兼容性问题提前在长城/曙光服务器上测试，准备驱动兼容层

该方案已通过初步技术验证，在统信UOS+龙芯3A5000环境下实现8GB文件稳定传输（平均速度12MB/s），SM4加密对性能影响控制在15%以内。下一步将重点优化WebAssembly加密性能，目标达到20MB/s的传输速率。

SQL示例

创建数据库

配置数据库连接

自动下载maven依赖

启动项目

启动成功

访问及测试

默认页面接口定义

在浏览器中访问

数据表中的数据

效果预览

文件上传

文件刷新续传

支持离线保存文件进度，在关闭浏览器，刷新浏览器后进行不丢失，仍然能够继续上传

文件夹上传

支持上传文件夹并保留层级结构，同样支持进度信息离线保存，刷新页面，关闭页面，重启系统不丢失上传进度。

批量下载

支持文件批量下载

下载续传

文件下载支持离线保存进度信息，刷新页面，关闭页面，重启系统均不会丢失进度信息。

文件夹下载

支持下载文件夹，并保留层级结构，不打包，不占用服务器资源。

示例下载

下载完整示例

版权声明: 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！
网站建设 2026/3/4 3:23:52

SpringBoot大附件上传是否支持SM4加密传输与国密标准

项目技术方案&#xff1a;大文件传输系统&#xff08;企业级高可用方案&#xff09; 编制&#xff1a;北京某互联网企业 前端研发部 - 张工 日期&#xff1a;2023年11月28日 一、项目背景与核心痛点 公司承接政府/军工领域项目&#xff0c;需开发50GB级文件传输系统&#xff0…

作者头像 李华
网站建设 2026/3/2 3:09:28

一站式OCR解决方案：腾讯HunyuanOCR支持超100种语言识别

一站式OCR解决方案&#xff1a;腾讯HunyuanOCR支持超100种语言识别 在企业数字化转型的深水区&#xff0c;一个看似简单却长期棘手的问题始终存在&#xff1a;如何高效、准确地从成千上万张扫描发票、合同、证件中提取结构化信息&#xff1f;传统OCR方案动辄需要部署多个模型、…

作者头像 李华
网站建设 2026/3/7 5:20:57

防伪溯源系统集成：利用OCR识别二维码旁印刷文字防止篡改

防伪溯源系统集成&#xff1a;利用OCR识别二维码旁印刷文字防止篡改 在药品、高端酒类或进口化妆品的防伪验证场景中&#xff0c;你是否曾遇到过这样的尴尬&#xff1f;用户扫描二维码后显示“正品”&#xff0c;但包装上的生产批号字体明显不一致、排版错位——这正是伪造者复…

作者头像 李华
网站建设 2026/3/4 0:34:50

企业级文档处理平台搭建：集成腾讯HunyuanOCR提升自动化水平

企业级文档处理平台搭建&#xff1a;集成腾讯HunyuanOCR提升自动化水平 在财务部门的某个寻常下午&#xff0c;一名员工正对着十几张模糊的海外发票发愁——语言混杂、版式各异、关键字段位置不一。手动录入不仅耗时&#xff0c;还容易出错。而在隔壁的技术团队&#xff0c;工程…

作者头像 李华
网站建设 2026/2/19 21:23:10

Prometheus + Grafana监控HunyuanOCR GPU利用率与QPS指标

Prometheus Grafana监控HunyuanOCR GPU利用率与QPS指标 在AI模型服务日益普及的今天&#xff0c;一个看似“聪明”的系统如果背后缺乏可观测性支撑&#xff0c;就可能变成运维团队眼中的“黑盒炸弹”——你不知道它什么时候会慢下来&#xff0c;也不知道为什么突然卡顿。尤其是…

作者头像 李华
网站建设 2026/3/7 3:09:25

MyBatisPlus是否能用于OCR数据存储？结合HunyuanOCR构建结构化数据库

MyBatisPlus是否能用于OCR数据存储&#xff1f;结合HunyuanOCR构建结构化数据库 在企业数字化转型的浪潮中&#xff0c;一个看似简单却频繁出现的问题摆在开发者面前&#xff1a;如何把一张张纸质发票、身份证或合同上的文字&#xff0c;高效、准确地变成系统里可检索、可分析…

作者头像 李华