当AI Agent进入企业,安全不是加分项而是生死线

AI PM 编辑部 · 2025年04月19日 · 4 阅读 · AI/人工智能

正在加载视频...

视频章节

Apache Ranger 创始成员 Don Bosco Durai 结合自身开源与创业经历,系统拆解了 AI Agent 在企业落地时被严重低估的安全与合规问题,并给出一套可执行的三层方法论:从安全评估、零信任执行到持续可观测性,帮助团队真正把 Agent 放进生产环境。

当AI Agent进入企业,安全不是加分项而是生死线

Apache Ranger 创始成员 Don Bosco Durai 结合自身开源与创业经历,系统拆解了 AI Agent 在企业落地时被严重低估的安全与合规问题,并给出一套可执行的三层方法论:从安全评估、零信任执行到持续可观测性,帮助团队真正把 Agent 放进生产环境。

从 Apache Ranger 到 AI Agent:安全老兵的视角为什么不一样

这场分享的价值,很大程度上来自演讲者的背景。Don Bosco Durai 并不是第一次站在“安全与平台”的交叉点上。他是 Apache Ranger 的创建者和 PMC 成员——这是一个被 AWS、Google Cloud、Azure 等主流云厂商广泛使用的大数据治理项目。也正因为长期在数据治理与企业安全一线工作,他对“系统跑起来”和“系统能长期、安全地跑起来”之间的差距格外敏感。

演讲一开始,他就抛出了一个现实背景:他们最近刚刚把一套针对生成式 AI 和 AI Agent 的安全与合规方案开源。这个决定本身就是一个信号——安全不是某一家公司的护城河,而是一个需要生态共同解决的问题。正如他所说的那样:“security and compliance is a pretty vast field, I don't think any single company can do it.”

也正因为这种经历,他并没有从模型能力、推理效果讲起,而是直接把焦点放在一个很多团队刻意回避的问题上:当 AI Agent 真正被赋予行动能力,它到底在企业系统里意味着什么风险?

Agent、Task、Tool、Memory:看似清晰的分层,实则是安全雷区

在正式讨论安全之前,Don Bosco 花了一段时间统一概念。他将 AI Agent 描述为一种“自治系统”,可以自主推理、生成工作流,并通过调用 Task 来执行具体动作。Task 可能会使用大语言模型、检索增强生成(RAG),或者进一步调用 Tool;而 Tool 本质上是函数,可以访问 API、数据库或外部服务。Memory 则是在 Agent、Task 和 Tool 之间共享的上下文。

问题恰恰出在这里。当前主流的 Agent 框架,大多运行在单一进程中。这意味着 Agent、Task、Tool 共用同一进程空间,也就共用凭证、Token 和内存。为了访问数据库或内部 API,Tool 往往使用的是服务账号凭证,而这些账号在现实中通常拥有“超管”级别权限。

Don Bosco 用一种近乎警告的语气指出:“since they all in the same process, one tool can technically access some other credentials.” 不只是 Tool,任何被引入的第三方库,只要运行在这个进程里,都有机会读取 prompt、上下文甚至密钥。这在传统安全视角下,几乎是反零信任的设计,却正在 Agent 世界里被当成默认选项。

真正的挑战:安全、可信与合规,被“先跑起来”全面挤压

在 Agent 原型阶段,团队最关心的问题通常只有一个:它能不能工作。但 Don Bosco 指出,这种思路一旦延续到生产环境,后果会非常严重。从安全角度看,设计不当的 Agent 可能导致未授权访问和敏感数据泄露;从安全可信角度看,模型不稳定、prompt 被篡改,都可能直接产出错误甚至危险的结果。

而最容易被忽略的,是合规与治理。他直言:“most of us are so much busy even just getting the agents working, we are not even worried about lot of the other things that are necessary for making your agent Enterprise ready.” 这并不是批评个人能力,而是现实压力下的结构性问题。

在他看来,Agent 带来的变化不只是技术复杂度,而是风险形态的变化。模型会快速迭代,Agent 框架在演进,第三方库的行为也可能悄然改变。用传统“上线即稳定”的思维来管理 Agent,本身就是一种错配。

三层方法论:没有银弹,但可以建立系统性的安全感

面对这些问题,Don Bosco 明确否认“银弹”的存在。他给出的,是一套分层的工程化方法。第一层是上线前的评估(Evals)。他借鉴传统软件工程的 gating 思维:代码需要测试覆盖,容器需要漏洞扫描,第三方依赖要检查 CVE,高中危问题必须在上线前修复。同样,AI Agent 也需要安全与风险导向的评估,而不仅仅是回答质量的评测。

第二层是执行时的强制控制(Enforcement)。在 Agent 世界里,几乎默认是零信任环境。关键问题变成:当 Agent 或 Tool 访问后端敏感系统时,如何确保“对的用户,只能做对的事”。这背后涉及认证、授权、隔离和沙箱,而不是简单的 prompt 约束。

第三层是可观测性(Observability)。与传统软件不同,Agent 的行为会随着模型、框架和依赖变化而变化。你必须在接近实时的层面知道 Agent 在做什么、是否出现异常,才能及时调整和收敛风险。正如他在总结中强调的:“make sure you know at real time or near real time how good your agent is performing.”

总结

这场分享最有价值的地方,不在于提出了某个全新的安全技术,而在于清晰地指出:AI Agent 的风险不是未来问题,而是设计阶段就已经埋下的结构性问题。通过“评估—执行—观测”三层方法论,Don Bosco 把安全从事后补救,拉回到工程流程本身。对于任何希望把 Agent 真正推向企业生产环境的团队来说,这不是加分项,而是一条不可绕开的底线。


关键词: AI Agent, AI安全, 零信任, 企业级AI, 安全评估

事实核查备注: 演讲者:Don Bosco Durai;背景:Apache Ranger 创建者与 PMC 成员;使用 Apache Ranger 的云厂商:AWS、Google Cloud、Azure;核心概念:AI Agent、Task、Tool、Memory、RAG、零信任;方法论:三层——评估(Evals)、执行(Enforcement)、可观测性(Observability);视频发布时间:2025-04-19