模型安全漏洞概况

通过对开源项目代码梳理和风险评估，发现近40个大模型相关安全漏洞，涵盖多种类型，影响多个知名模型服务框架及产品。

模型层安全威胁

1. 数据投毒：攻击者通过污染训练数据集影响模型性能，可在数据收集或模型重新训练时实施，可能影响下游应用程序决策。

2. 后门植入：在模型中植入特定“后门”，在特定条件下控制模型输出，隐蔽性高，可通过数据投毒或修改模型文件实施，如Hugging Face平台曾受影响。

3. 对抗攻击：对模型输入数据进行微小修改，使模型产生错误预测，在图像处理和大语言模型中均有效，大语言模型中可通过构造提示词“越狱”，突破安全策略。

4. 数据泄露：包括训练数据中的隐私数据和模型关键信息泄露，攻击者可通过构造提示词查询模型获取敏感数据或进行模型逆向与窃取。

框架层安全问题

1. 计算校验与运行效率矛盾：框架底层为提升效率使用非内存安全语言编程，虽经安全测试但仍存在内存安全问题，开发者因效率与安全权衡及利用条件苛刻，可能忽视部分问题。

2. 处理不可信数据风险：框架接受的原始训练数据和序列化存储模型可能存在恶意数据，如原始数据预处理时可能因文件格式支持和加载方式多样而受攻击，模型加载时加载不可信模型可能导致代码执行，主流框架已提示应避免加载来源不明模型。

3. 分布式场景安全隐患：分布式框架实现任务高效运行，但集群存在安全风险，如llama.cpp的rpc-server组件、Horovod和Ray框架均存在安全策略不足问题，易被攻击者利用实现远程代码执行或信息泄露。

应用层安全风险

1. 前后端交互传统安全问题：前端数据未严格验证过滤可导致SQL注入、跨站脚本攻击等，身份验证和授权管理不当可致敏感资源泄露与危险操作，如Intel Neural Compressor和AnythingLLM分别存在SQL注入、命令注入和API Key泄露问题。

2. Plugin能力缺少约束问题：Plugin拓展大模型能力，但缺少约束可能被攻击者利用，如数据检索处理中PandasAI存在SQL注入漏洞，可导致远程代码执行；代码执行场景下，AI应用虽采用沙箱隔离，但沙箱机制可能存在缺陷，如Dify曾被发现沙箱逃逸漏洞。

免责声明：我们尊重知识产权、数据隐私，只做内容的收集、整理及分享，报告内容来源于网络,报告版权归原撰写发布机构所有，通过公开合法渠道获得，如涉及侵权，请及时联系我们删除，如对报告内容存疑，请与撰写、发布机构联系

数据攻击者沙箱模型框架发布于：广东省声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。