news 2026/6/25 6:39:22

模型加载时trust_remote_code 的作用

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
模型加载时trust_remote_code 的作用

问题

在模型加载的时候,我们会观察到 trust_remote_code这个参数

model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True)

从名字上看,就是相信远程代码.如果我们的模型是完全下载到本地的,哪里来的远程代码呢?

解释

我们使用Transformer加载模型的时候,一般下载的文件只有权重文件(.bin、.safetensors)、配置(config.json)、tokenizer.json 等静态资源,不一定列出对应的自定义 modeling_*.py 源码文件
py文件用于指定模型是怎么运行的,如果是Transformer框架里面自带的类,就不需要另外下载远程py文件,

例子

一个典型例子就是你现在看的 Qwen3-30B-A3B 这类模型,它在仓库里自带了自定义的 Python 源码(例如自定义的 Qwen3MoeForCausalLM 模型类、注意力层、MoE 结构等),因此必须依赖 trust_remote_code=True 才能正常加载这些类。
但是我们通过浏览https://modelscope.cn/models/Qwen/Qwen3-30B-A3B/files
也没有发现对应的py文件,那是因为py文件并没有通过modelscope开放.

我们怎么看到py文件??

想看源码可以怎么做
在本地先用:

AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-30B-A3B", trust_remote_code=True)

载入一次模型。

载入完成后,到本机的缓存目录下(如 Hugging Face 对应

~/.cache/huggingface/modules/transformers_modules/

,ModelScope 也有类似目录)去找包含 qwen3_moe、Qwen3MoeForCausalLM 等名字的 .py 文件,就能看到真正的实现。

在无网络机器部署

在没有外网的环境部署这类需要下载远程 Python 代码的模型,思路是:

在有网环境:
用 trust_remote_code=True 正常 from_pretrained 一次,把模型、tokenizer 和远程代码都拉进本机缓存。
然后用 save_pretrained()(或直接 git clone 模型仓库)把权重、配置和代码保存到你自己的目录或镜像仓库里。

from transformers import AutoModelForCausalLM, AutoTokenizer model_id = "Qwen/Qwen3-30B-A3B" # 也可以是 modelscope 对应的 id tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True) save_dir = "./qwen3-30b-a3b-offline" tok.save_pretrained(save_dir) model.save_pretrained(save_dir)

在无网环境:
拷贝这个目录到离线机器。
用 from_pretrained(“本地路径”, trust_remote_code=True, local_files_only=True) 这样的方式加载,只从本地读文件,不再访问外网。

from transformers import AutoModelForCausalLM, AutoTokenizer local_dir = "/path/to/qwen3-30b-a3b-offline" tok = AutoTokenizer.from_pretrained( local_dir, trust_remote_code=True, local_files_only=True, ) model = AutoModelForCausalLM.from_pretrained( local_dir, trust_remote_code=True, local_files_only=True, )

local_files_only=True 确保完全离线,如果少文件会直接报错而不是悄悄访问外网。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/23 8:21:51

真实污水处理项目中的S7-1200实战经验

西门子PLC1200真实项目案例程序十 KTp1200屏画面 十电路图 博途V16 V17版,模拟量输入输出处理,液位设置处理,流量处理,双设备轮换,modbus通讯控制变频器,事件记录,污水处理设备程序最近刚完成某…

作者头像 李华
网站建设 2026/6/18 3:43:38

JavaScript 常见算法复杂度总结(大O表示法)

大O表示法具体含义总结表时间复杂度详解大O表示名称含义示例增长曲线执行时间(n1000)假设O(1)常数时间执行时间不随输入规模变化数组索引访问、哈希表查找水平线1单位时间O(log n)对数时间执行时间随输入规模对数增长二分查找、平衡树操作缓慢上升曲线10单位时间O(√n)平方根时…

作者头像 李华
网站建设 2026/6/23 1:14:18

第六章 染色体变异

第七章细菌和病毒的遗传第八章基因的表达与调控第九章基因工程和基因组学第十章基因突变第十一章细胞质遗传第十二章遗传与发育第十三章数量性状遗传第十四章群体遗传与进化

作者头像 李华
网站建设 2026/6/21 23:34:14

TIME_WAIT详解

一、为什么需要 TIME_WAIT?虽然连接看起来已经可以结束了,但 TCP 设计这个状态主要是为了解决两个核心问题:1. 确保最后一个 ACK 能够到达对方在 TCP 四次挥手中,主动关闭方发送完最后一个确认包(ACK)后&am…

作者头像 李华
网站建设 2026/6/16 14:46:30

buuctf中的picoctf_2018_rop chain

首先checksec检查保护机制:-32位程序-开启了栈不可执行机制然后使用反汇编工具IDA进行分析:看到了vuln函数和左边的win1,win2函数及flag函数,第一眼看到就觉得能够从这些函数中获取flag,但实际行不行呢,先一…

作者头像 李华
网站建设 2026/6/15 13:06:08

MuJoCo: 开源的高性能物理仿真引擎

文章目录🔍 核心特点1. **高效且准确的物理建模**2. **丰富的物理对象与执行器支持**3. **高性能求解与数值方法**4. **易用的建模与可视化**5. **高性能底层实现**🛠️ 典型应用场景📦 使用方式(简要)📚 学…

作者头像 李华