TLDR:本文系统地分析了推荐系统的安全性,并提供了新的见解。具体而言,针对2018–2025年期间超过230篇论文进行全面整理,从攻击方法、检测策略、系统脆弱性、隐私风险等多个方面构建了推荐系统安全的完整框架。论文和代码均已Open Access,欢迎批评指正。
导语:
推荐系统作为在线服务的核心组件,能够有效帮助用户获取其可能感兴趣的信息。然而,在实际应用中,推荐系统长期面临安全威胁。攻击者通过注入恶意数据操纵推荐结果,以谋取不当利益。当前,针对推荐系统安全性的研究仍缺乏对攻击能力的全面认知。此外,现有防御策略尚未与各类攻击特征建立系统性关联。尤为重要的是,大多数现有防御方法在异常检测与取证分析中,极少考虑实际应用场景下未标注的真实数据。鉴于上述问题,本文对推荐系统的安全性进行了系统性梳理,并提出了新的研究视角与见解。
推荐系统攻防示意图
引言:
随着电子商务、短视频及直播内容平台的快速发展,推荐算法已成为互联网中最重要的内容分发机制之一。用户日常所接触的商品推荐、视频推送与新闻资讯,实质上均由后台复杂的推荐算法动态计算生成。然而,推荐系统并非绝对安全,其可能遭受攻击与操纵,甚至被黑灰产利用以谋取非法利益。因此,推荐系统的安全性问题已引起学术界与工业界的广泛关注。
基于此,本综述旨在为研究人员提供一个系统而全面的视角,以深入理解并有效应对推荐系统当前及未来可能面临的安全威胁。本文将推荐系统的安全研究划分为两个主要阶段:第一,初始阶段,该阶段的攻击策略与防御方法相对简单;第二,发展阶段,为应对日益复杂且隐蔽的攻击行为,检测技术逐渐转向对模型泛化能力的关注。
具体而言,本文首先从攻击角度出发,将攻击模型归纳为四类:基于目标的攻击策略、针对安全与隐私的攻击策略、基于先验知识的攻击策略,以及针对其他推荐系统的攻击策略。在防御层面,现有检测模型可进一步划分为:基于统计的行为建模、基于隐藏特征的检测方法、面向隐私攻击的防御机制、基于关联挖掘的异常发现,以及面向真实场景数据的异常取证技术。最后,本文提出了若干潜在的研究方向,为推荐系统安全领域的后续研究提供理论参考与实践指导。此外,为促进实验的可重复性与研究成果的横向比较,本综述同步构建并公开了一个涵盖典型攻击与防御方法的资源库https://github.com/xiaofengbbb/RS-Papers。
文献分类
文章的贡献点:
- 系统性地探讨推荐系统的攻击与防御机制:本文系统梳理了当前针对推荐系统的典型攻击模型,深入剖析其攻击机理,并评估了现有防御策略的可行性与适用范围。同时,对现有的攻击检测方法进行了归纳与分析,评述其有效性及局限性。
- 从防御视角反观攻击行为:通过对比分析攻击与防御相关研究,本文揭示了二者之间的内在关联。对于已有防御手段的攻击类型,文章系统总结了相应防御机制的优势与不足;对于尚未有效防御方案的攻击,则探讨了潜在的应对方案与研究方向。
- 面向真实未标记数据的异常发现与取证分析:本文讨论了在缺乏标注信息的真实场景下,如何开展异常行为的取证识别与有价值模式的挖掘,并对现有防御方法在该类环境中的实际应用效果进行了定性评估。
- 提出基线方法选择的指导建议:文章提出了一套选择合适基准方法的原则性建议,旨在为研究人员在实验设计中合理选取对比方法提供参考依据。
- 构建开源研究资源库:为推动推荐系统安全领域的学术交流与技术发展,本文构建了一个公开的文献与代码存储库,系统整合了主流攻击与防御方法的实现资源。
- 展望未来研究方向:文章总结了推荐系统安全领域亟待探索的关键问题与潜在研究方向,为后续工作提供了思路指引。
针对推荐系统的攻击策略:
我们从四个维度系统梳理了推荐系统攻击领域的研究进展:
- 基于攻击目标的策略分类(AS-T):包括单目标攻击与多目标攻击。
- 针对安全与隐私威胁的攻击策略(AS-SP):进一步划分为安全攻击和隐私攻击。
- 基于先验知识利用的攻击策略(AS-PK):涵盖知识渗透攻击与知识转移攻击两类。
- 面向特定推荐系统的攻击策略(AS-ORS):涉及针对联邦推荐系统、基于对比学习的推荐系统以及大语言模型推荐系统的攻击方法。
如图所示,文章展示了各维度研究成果所占的比例分布。在此基础上,进一步探讨了针对每个攻击维度设计相应防御机制的可行性,并提出了具有前瞻性的研究方向。此外,图中还标示了当前广泛采用的基于隐蔽行为的攻击策略,以反映其在现有研究中的受关注程度。
攻击分类示意图
针对推荐系统的检测与异常取证:
我们从五个维度系统梳理了推荐系统防御方法的研究进展:
- 基于统计的行为建模(DM-BR):涵盖用户评分行为与物品分布特征的量化分析。
- 基于隐性特征的检测方法(DM-HF):包括统计特征的优化改进以及模型性能与鲁棒性的提升策略。
- 针对隐私攻击的防御机制(DM-PA):主要从差分隐私保护与数据脱敏技术两个维度展开。
- 基于关联挖掘的异常发现(DM-AD):涉及攻击目标的识别分析及基于图结构的检测方法研究。
- 面向真实场景数据的异常取证(DM-AF):包含对真实数据环境下的检测实践与异常行为的取证分析。
如图所示,文章展示了各维度防御方法在现有研究中所占的比例分布。在此基础上,系统分析了当前检测方法面临的主要挑战与局限性,并提出了具有前瞻性的未来研究方向。
检测与异常取证分类示意图
现有挑战与未来方向:
攻击研究的差距:
- 高隐蔽性攻击的挑战:当前的研究方法主要集中在对推荐系统的可用性攻击上,在一定程度上忽视了攻击行为的隐蔽性。然而,高度隐蔽的攻击对推荐系统的安全性构成了实质性威胁。当攻击规模较小时,破坏力较弱。随着规模的增加,检测机制更容易识别攻击。因此,攻击者需要平衡可用性和隐蔽性,以实现难以检测但真正有效的攻击效果。
- 用户隐私攻击的挑战:尽管差分隐私和数据匿名化能够有效防止隐私泄露,但推荐系统的输入和输出仍会暴露少量用户敏感信息。因此,如何从少量暴露的信息中窃取用户隐私已成为攻击者关注的问题。
- 针对基于大语言模型的推荐系统的攻击挑战:大语言模型在推荐系统中的广泛应用为攻击者提供了新的攻击策略,使得诸如提示注入攻击、训练数据中毒攻击和模型窃取攻击等各种攻击成为可能。
- 侧信息整合的挑战:随着防御机制的日益成熟,基于评分行为的攻击方法越来越难以达到预期效果。除了评分之外,侧信息(例如点赞/点踩、评论、图片)能够提供更丰富的用户行为和偏好信息。
检测的差距与方向:
- 异常检测的必要性:当前的检测机制高度依赖大量原始评分数据,这不仅容易导致数据不平衡问题,还容易受到噪声数据的干扰。然而,攻击者在实施攻击前通常会暴露少量异常行为。如果能捕捉到这些信号,将为检测方法的设计提供重要思路。
- 统一的检测机制:当前的防御方法主要针对特定类型的推荐系统,因此它们在不同推荐系统之间的可转移性相当有限。然而,推荐系统的开放性使其容易受到多种类型的攻击。因此,不依赖攻击细节的检测机制是当前防御的关键方向。
- 攻击目标的早期检测:高度隐蔽的攻击通常通过多阶段和深层次渗透方法来构成威胁,而传统的基于隐藏特征的单检测机制在应对此类攻击时往往表现出明显的局限性。要实现精准检测,防御方法需要采用分而治之的检测策略,逐步分离可疑目标,并通过将检测与攻击目标的二次验证相结合来降低误报率。
- 现实世界数据的适用性:当前的检测方法主要依靠合成数据来验证其有效性。然而,合成数据往往无法还原真实数据的复杂性。此外,真实数据通常包含大量噪声和异常值,而且也不确定其中是否包含攻击数据。因此,获取真实数据仍然是一个挑战。
总结:
本综述系统梳理了针对推荐系统的现有攻击与防御方法,旨在为深入理解推荐系统的安全性提供全面且具有发展性的研究视角。首先,本文阐述了推荐系统的威胁模型,为分析其面临的安全挑战奠定了理论基础。随后,提出了全新的攻击与防御分类体系。基于该分类框架,系统归纳并分析了文献中所涵盖的95种攻击方法及其对应的130种防御机制。进一步地,通过对攻击与防御技术的对比与关联性探讨,揭示了二者之间的内在互动关系,并从中提炼出更具深度的研究见解。
更多技术细节请阅读原始论文。
相关工作:
Z. Yang, Y. Feng, J. Li, P. Wang and Z. Liu, “Meet Trick With Trick: Revealing Collusion Intentions in Highly Concealed Poisoning Behavior,” in IEEE TDSC, doi: 10.1109/TDSC.2025.3613425.
论文:https://ieeexplore.ieee.org/abstract/document/11176436
我们针对高度隐蔽或小规模的数据投毒攻击,提出了一种名为METT的分而治之的检测方法。首先,我们提出利用基于群体和个体层面不公平序列的因果推断来增强用户-物品共生关联的可靠性。然后,我们开发了一种名为ideaT的新型攻击目标早期检测方法。最后,利用一种在行为边界模糊的情况下具有抗干扰能力的机制,进一步区分虚假注入。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。