AI 安全、隐私与治理

AI 系统的风险不仅来自模型回答错误，还来自数据泄露、提示注入、越权工具调用、内容滥用、偏见和不可追溯。安全必须贯穿输入、上下文、模型、工具和输出。

主要风险面

层次	风险	典型控制
输入	恶意内容、提示注入、超长请求	校验、隔离、长度限制
数据	隐私、版权、敏感信息	最小采集、脱敏、授权、保留策略
检索	越权召回、恶意文档	权限过滤、来源信任、内容标记
模型	幻觉、偏见、不当输出	评估、拒答、内容策略、人工确认
工具	越权、误写、重复执行	最小权限、schema、幂等、审批
日志	记录密钥和个人信息	脱敏、访问控制、生命周期管理

提示注入

外部文档、网页和用户输入都可能包含“忽略之前规则”等恶意内容。检索到的文本是数据，不应被视为高优先级指令。

防护需要多层组合：

• 明确区分指令和不可信内容。
• 工具权限由服务端控制，不由模型决定。
• 对敏感动作进行参数校验和用户确认。
• 限制模型可访问的数据范围。
• 记录和评估注入攻击样例。

没有任何一句 Prompt 能单独解决提示注入。

最小权限

不同工具应使用不同权限身份。查询订单不需要退款权限，读取文档不需要写入知识库权限。高风险动作应采用“模型提出候选 -> 程序校验 -> 用户确认 -> 工具执行”。

隐私

• 明确数据处理目的和授权范围。
• 不把不必要的个人信息发送给外部模型。
• 对日志、评估集和训练数据做脱敏。
• 支持数据删除和保留期限。
• 区分公开、内部、机密和受限数据。

使用第三方模型服务前还要确认数据是否被保存、用于训练以及部署地域。

公平与偏差

训练数据可能反映历史偏差。总指标正常，也可能在某些群体上错误率明显更高。应按重要人群分片评估，并检查标签和决策过程是否合理。

人工确认

以下情况通常需要人工参与：

• 金融、医疗、法律和人身安全相关决策。
• 删除、支付、退款、发布等不可逆操作。
• 低置信度、证据冲突或系统异常。
• 用户申诉和高影响个案。

人工确认不是一个弹窗，而要提供依据、风险和可修改参数。

审计

审计记录应能回答：谁在何时发起了什么请求，系统使用了哪些资料，模型提出了什么动作，工具以什么身份执行，最终结果和确认人是谁。

审计日志也包含敏感信息，必须限制访问并设置保留期限。

治理机制

建立模型和场景清单，按风险分级，为每类系统定义负责人、评估标准、上线门槛、监控指标、事件响应和停用机制。治理的目标是让能力和责任匹配，而不是阻止合理使用。