从“工具”到“代理”,风险边界正在扩大
过去AI多作为被动工具,输出内容由人筛选。如今智能体可调用接口、执行任务、操作账户,决策链条被拉长。一旦被提示注入、权限滥用或供应链污染,影响可能从信息错误升级为真实业务损失。
风险不再局限于模型本身,而是扩展到记忆、工具、插件、身份凭证和外部环境。机器开始替人“做事”,安全边界也随之模糊。传统边界防护难以覆盖动态调用链,安全团队必须重新理解“资产”和“入口”。
漏洞为何频发:能力与治理错配
智能体追求自主规划与连续行动,但许多系统仍沿用传统软件的安全假设。权限授予、数据隔离、行为审计和异常中断机制往往滞后于功能迭代。当智能体能自主组合工具时,原本孤立的低危问题也可能被串联成高危路径。
同时,多智能体协作会放大错误:一个环节被误导,可能沿调用链传播。开发者为追求效率开放过高权限,也让攻击面持续扩张。若缺少统一身份与策略管理,智能体之间还可能相互授权,形成难以追踪的权限网。
机器决策的“兜底”难题
当智能体自主下单、审批、发送消息或修改配置时,谁来为结果负责?模型厂商、平台方、部署企业和最终用户之间,常存在责任模糊地带。各方都强调自身提供的是“能力”,而非最终决策。
“兜底”不是让AI拥有法律人格,而是要求关键决策保留人类复核、紧急停止和回滚能力。没有这些机制,自动化越深,纠错成本越高。尤其在金融、医疗、工业等场景,错误动作可能带来连锁后果。
责任链需要可追溯与可干预
有效治理依赖完整日志:谁授权、调用了什么工具、依据哪些数据、产生何种影响,都应可回溯。只有可追溯,才能定位是模型缺陷、配置错误还是恶意攻击。日志若只记录结果而不记录推理与工具调用,问责仍会落空。
可干预同样重要。智能体应设置风险分级,对高风险动作强制人工确认,并允许在异常时快速隔离。责任链清晰,才能避免“机器犯错、无人负责”。这要求产品设计阶段就嵌入审计与熔断,而非事后补救。
技术与制度双重护栏
技术上,可通过最小权限、沙箱运行、输入输出过滤、行为监控和对抗测试降低风险。制度上,需明确披露义务、安全评估、事故报告与责任分担规则。标准与认证也应跟上,让安全能力可比较、可验证。
企业也应把AI智能体纳入现有风控体系,而不是当作普通软件采购。安全团队、法务、业务和供应商需共同定义可接受边界。对高风险场景,应保留人工否决权和定期红队测试。
结语:兜底的是人,不是算法
AI智能体可以提升效率,但无法自动承担最终责任。面对频发漏洞,真正可靠的兜底机制,是透明治理、人类监督与明确问责的组合。把责任完全推给模型,既不现实,也不安全。
技术越自主,制度越不能缺位。让机器决策可解释、可停止、可追责,才是智能体大规模落地的前提。未来竞争不只比谁更智能,也比谁更可控。