news 2026/1/18 8:29:46

大模型安全评估是什么?

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
大模型安全评估是什么?

大模型备案安全评估报告是模型合规备案的核心申报材料,其撰写质量直接决定备案审核效率与通过率。报告需严格遵循《网络安全法》《生成式人工智能服务管理暂行办法》等法规要求,全面覆盖模型全生命周期安全风险,做到逻辑清晰、内容详实、论据充分。

一、语料安全评估
(一)评估内容

(1)文本训练语料规模 训练语料存储规模,按文本格式存储时的语料大小。 训练语料数量,按词元 (Token) 计数。

(2)各类型语料规模 训练语料中的中文文本、英文文本、代码、图片、音频、 视频及其他语料的规模。

(3)训练语料来源 训练语料来源的组成情况,按照开源语料、自采语料、商业语料进行分类。 境外开源网站语料内中文文本、英文文本、代码、图片、音频、视频及其他语料的规模。 自采语料内中文文本、英文文本、代码、图片、音频、视频及其他语料的规模。 商业语料内中文文本、英文文本、代码、图片、音频、视频及其他语料的规模。

(4)语料标注数量 语料标注的数量,仅限文本和图片,按标注单元计数, 通常按条数、张数。

(5)标注人员情况 标注人员的数量,标注人员的类型,通常包括内部、外包。 标注人员培训时间、培训数量等情况。

(6)标注规则 按照《生成式人工智能服务管理暂行办法》第四条要求制定的标注规则。

(7)标注内容准确性核验 标注内容准确性人工核验比例。

(8)语料合法性 语料来源合法性情况。 语料是否包含侵害他人知识产权内容。 语料是否包含违法违规的个人信息内容。

(二)评估结论

评估结论应包括以下内容:

(1)语料是否符合《生成式人工智能服务管理暂行办法》相关规定,是否含有违反我国法律法规明确禁止的内容。

(2)语料中包含个人信息语料的数量、种类,是否符合《生成式人工智能服务管理暂行办法》规定。

(3)因语料产生知识产权纠纷的风险分析。

(4)防范语料安全风险的措施和建议。

二、模型安全措施评估
(1)模型适用人群、场合、用途 服务的适用人群,是否适用未成年人、学生等。 适用场合,是否适用关键信息基础设施、自动控制、医疗信息服务、心理咨询等。 服务范围,是否限定或未限定特定领域。

(2)服务过程中收集保存个人信息情况 服务过程中收集保存个人信息情况,包括个人信息的类型、数量、用途以及保存期限。

(3)收集个人信息征得个人同意情况 收集个人信息征得个人同意的方式。

(4)受理处理使用者查阅、复制、更正、补充、删除个人信息请求的情况 受理处理的条件以及途径方法。

(5)图片、视频标识情况 标识的样式,按1:1 比例贴入。 标识在图片、视频中的具体位置。 标识频度,如每帧、跳帧等。

(6)接受公众或使用者投诉举报情况 接受公众或使用者投诉举报的途径及反馈方式。

(7)服务协议情况 上述1至6内容是否已经写入模型服务协议。

(8)非法内容拦截措施 监看人员的数量。 预置关键词拦截情况,并提供预置关键词拦截列表。 分类模型的检测情况,说明分类模型研制情况和准确性。

(9)拒答率 拒绝回答或者以简单模板回答数量占总测试数量的比率。

(10)模型更新、升级 在何种情况下重新进行预训练,如较频繁发现生成非发

三、安全措施评估:

(1)明确模型适用人群(如是否适用未成年人等)、场合(关键信息基础设施等相关敏感场合)、用途(限定领域与否)。

(2)梳理服务过程中收集保存个人信息情况(类型、数量、用途、保存期限)。

(3)确定收集个人信息征得个人同意情况(方式)。

(4)明确受理处理使用者查阅、复制、更正、补充、删除个人信息请求的情况(条件和途径方法)。

(5)规划好图片、视频标识情况(样式、位置、频度等)。

(6)建立接受公众或使用者投诉举报情况(途径及反馈方式)。

(7)完善服务协议(将上述多方面内容写入)。

(8)建立非法内容拦截措施(监看人员数量、预置关键词拦截列表、分类模型检测及准确性等)。

(9)统计拒答率(拒绝回答等数量占比)。

(10)规划模型更新、升级条件(如发现频繁非法等情况时)。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/1/12 22:03:29

Dify插件开发没人告诉你的4个秘密技巧,第3个至关重要

第一章:Dify插件开发没人告诉你的4个秘密技巧,第3个至关重要在Dify插件开发中,掌握一些鲜为人知的技巧能显著提升开发效率和插件稳定性。以下四个关键点,尤其第三个,往往被官方文档忽略,却对实际开发影响深…

作者头像 李华
网站建设 2026/1/11 22:51:15

为什么你的Dify文档总保存失败?(工程师不会告诉你的5个真相)

第一章:为什么你的Dify文档总保存失败?在使用 Dify 构建 AI 应用时,文档保存失败是一个常见但令人困扰的问题。尽管界面提示“保存成功”,但刷新后内容却丢失,这通常源于配置或网络层面的隐性错误。检查存储权限与路径…

作者头像 李华
网站建设 2026/1/10 13:18:56

云服务器高可用运维的核心逻辑与实操

在数字化业务场景中,云服务器的可用性直接决定企业营收与用户体验 —— 某电商平台曾因服务器故障 1 小时损失超百万订单,可见科学运维体系的关键价值。高可用运维的核心是 “预防为主、快速响应”,通过指标监控、风险预判、应急处置三大环节…

作者头像 李华
网站建设 2026/1/15 22:57:20

从部署到调优全记录,Dify 1.11.1新特性测试实战经验分享

第一章:Dify 1.11.1 功能测试概述 Dify 1.11.1 是一个面向低代码 AI 应用开发平台的稳定版本,专注于提升工作流编排、模型集成与用户交互体验。该版本在推理性能、插件扩展性和多租户支持方面进行了优化,功能测试旨在验证核心模块的稳定性与边…

作者头像 李华
网站建设 2026/1/15 6:32:14

从零开始搭建Dify插件生态(完整开发流程+部署实践)

第一章:Dify插件生态概述Dify作为一个面向AI应用开发的低代码平台,其核心优势之一在于灵活可扩展的插件生态系统。该生态允许开发者通过插件机制集成外部服务、增强功能模块或自定义工作流,从而快速适配多样化的业务场景。插件可在数据接入、…

作者头像 李华