news 2026/2/3 18:18:15

【ssh】在两个远程服务器之间传输文件的便捷方法

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【ssh】在两个远程服务器之间传输文件的便捷方法

在 Slurm 集群上,大体量的tar | ssh管道传输非常容易被系统“杀掉”,即使你人没断线,后台 I/O / 网络 / login node 的限额也会把进程 SIGKILL,导致tar 包尾部缺失 →Unexpected EOF

例如,在Slurm 集群上迁移 conda 环境(几十 GB):

❌ 不推荐:

  • tar -czf(压缩太慢、CPU+IO重)

  • tar | ssh(login node 很容易 kill)

  • 单次scp(不支持断点)

推荐靠谱方案:rsync + --partial + --inplace


具体做法:rsync+ 断点续传

这是HPC 官方推荐方式,假设源服务器服务端口为3022,目的服务器服务端口为2022。

在 2022 端口(源)执行:

rsync -avh \ --partial \ --inplace \ --delete \ --numeric-ids \ --progress \ -e "ssh -p 3022" \ #连接目的服务器端口执行命令 /home/user/miniconda3/envs/my_env/ \ #源服务器文件夹/文件地址 lzh@209.167.43.117:/home/lzh/miniconda3/envs/my_env/ #目的服务器目的地址

为什么这个一定成功?

  • --partial:中断不丢数据

  • --inplace:避免重复写(大文件关键)

  • rsync逐文件校验,不会生成损坏状态

  • 即使被 Slurm 杀掉,重新执行同一条命令会从断点继续,直至传完文件。

💡你可以反复跑这条命令,直到命令很快结束,传输文件列表为空,仅sent少量Bytes(表示没有文件可传,仅发送一些控制信息),意味着文件传完,如下:

sending incremental file list share/gdb/auto-load/home/ sent 3.68M bytes received 7.92K bytes 19.17K bytes/sec total size is 8.48G speedup is 2,298.80 (DRY RUN)
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/2/2 19:25:30

OpenSpout:PHP开发者的表格数据处理革命

OpenSpout:PHP开发者的表格数据处理革命 【免费下载链接】openspout Read and write spreadsheet files (CSV, XLSX and ODS), in a fast and scalable way 项目地址: https://gitcode.com/gh_mirrors/op/openspout 记得上次处理那个包含50万行数据的Excel…

作者头像 李华
网站建设 2026/2/3 9:37:03

如何获取EmotiVoice镜像?Docker一键拉取使用说明

如何快速部署 EmotiVoice?Docker 一键拉取与实战应用指南 在语音交互日益普及的今天,用户早已不再满足于“能说话”的机器声音。从虚拟偶像直播到智能客服系统,市场对语音合成的要求正从“可听”转向“动情”——不仅要像人,还要有…

作者头像 李华
网站建设 2026/2/3 0:26:39

为什么你的边缘Agent监控总是失效?4大常见陷阱及应对策略

第一章:为什么边缘Agent监控在Docker环境中如此关键在现代微服务架构中,Docker容器被广泛用于部署轻量级、可移植的应用实例。随着容器数量的快速增长,传统集中式监控手段难以满足实时性与低延迟的需求。边缘Agent作为运行在宿主机或容器内部…

作者头像 李华
网站建设 2026/2/3 13:40:42

网易云音乐终极增强方案:三分钟解锁周杰伦完整曲库与云盘快传

还在为无法收听周杰伦等热门歌手歌曲而烦恼?面对云盘上传限速和会员限制束手无策?这款网易云音乐用户脚本通过技术创新彻底解决了这些痛点,让你在3分钟内解锁周杰伦完整曲库,享受无损音乐下载与云盘快传的极致体验。 【免费下载链…

作者头像 李华
网站建设 2026/2/3 5:58:43

Docker容器内LangGraph Agent日志丢失?:90%开发者忽略的4个配置陷阱

第一章:Docker-LangGraph 的 Agent 日志在构建基于 LangGraph 的多智能体系统时,日志记录是调试与监控的核心环节。当这些智能体运行于 Docker 容器环境中,统一且结构化的日志输出显得尤为重要。通过合理配置日志级别、格式和输出路径&#x…

作者头像 李华
网站建设 2026/2/3 3:41:27

开源六轴机械臂终极指南:低成本DIY机器人完全教程

开源六轴机械臂终极指南:低成本DIY机器人完全教程 【免费下载链接】Faze4-Robotic-arm All files for 6 axis robot arm with cycloidal gearboxes . 项目地址: https://gitcode.com/gh_mirrors/fa/Faze4-Robotic-arm 想要拥有一台工业级性能的六轴机械臂&am…

作者头像 李华