AI安全术语词典

AI 安全关注模型和应用在面对恶意输入、越权请求、数据泄露和不可控行为时能否保持可靠。它是 AI 产品上线前必须检查的部分。

输入攻击

Prompt Injection，提示注入：攻击者通过输入让模型忽略原有规则，例如“忘掉之前指令”。

Jailbreak，越狱：诱导模型绕过安全限制，输出本应拒绝的内容。

Adversarial Example，对抗样本：经过特殊设计的输入，让模型产生错误判断。

数据风险

Data Leakage，数据泄露：敏感信息通过日志、输出、训练数据或权限错误泄露。

PII，个人可识别信息：姓名、手机号、身份证号、人脸、声音等。

Training Data Extraction，训练数据提取：试图让模型复现训练中的敏感内容。

工具和权限

Tool Permission，工具权限：模型能调用哪些工具、能访问哪些数据。

Sandbox，沙箱：限制代码或工具执行范围，防止破坏系统。

Human Approval，人工确认：高风险操作前要求人类批准。

输出安全

Toxicity，有害内容：攻击、歧视、骚扰等内容。

Misinformation，错误信息：不真实或误导性内容。

Unsafe Instruction，危险指导：可能造成现实伤害的操作说明。

防护建议

对外部文档做不可信处理，不能让文档内容覆盖系统规则。工具调用要做权限最小化。日志中不要保存敏感原文。重要操作设置人工确认和审计记录。

易混淆点

模型安全不只是过滤敏感词。真正的安全还包括身份认证、权限控制、数据隔离、输入输出审查、监控告警和失败兜底。