Bloomberg如何把AI Agent真正规模化落地

这是一场来自彭博社AI工程负责人Anju Kambadur的实战分享。她没有停留在“Agent很有前途”的空谈，而是用彭博在真实金融场景中的产品经验，讲清楚什么是可落地的Agent、为什么必须是“半自动”、以及在高风险行业里，Agent规模化的真正难点。

从“自研大模型”到“站在开源之上”：一次务实的战略转向

为什么一家在AI上投入了15年以上的公司，会放弃自研大模型，转而拥抱外部生态？这是Anju开场就抛出的第一个真实转折。她回顾说，彭博在2021年底看到大语言模型的潜力后，花了整整一年时间构建自己的模型，并在2023年发表了相关论文，系统性学习了数据组织、评估方法和性能调优。但“ChatGPT发生了”，开源权重和社区的进展速度彻底改变了技术格局。

Anju并不回避这个转向的现实意味：当外部模型和生态已经足够强大，再重复造轮子并不是最优解。于是彭博的策略从“造模型”变成了“用模型、叠加能力、做产品”。她明确说，现在的核心是“build on top of whatever is available out there”，因为公司内部有大量不同的使用场景，更需要工程化和产品化能力，而不是模型本身的参数规模。这种转向并不意味着否定过去的投入，而是承认一个事实：在Agent时代，差异化越来越来自系统设计，而不是基础模型。

先说清楚：什么是工具，什么才是Agent

在真正做产品之前，彭博内部首先遇到的不是技术问题，而是语言问题——大家对“Agent”的理解完全不同。Anju提到，一篇《Cognitive Architectures for Language Agents》的论文帮助团队统一了词汇：工具（tool）是偏被动的、一次性调用的能力，而Agent则更靠右——更自主、有记忆、能随着时间演化。

她特别强调，今天的很多“Agent产品”其实还停留在工具阶段，这并不是坏事，但如果不区分清楚，就很容易在设计和预期上出问题。在彭博内部，“agentic”这个词被严格限定在更高自治度的那一端。这种定义上的克制，直接影响了后续架构选择，也解释了为什么她反复强调：当前的系统是“semi-agentic”，而不是全自动Agent。

这背后其实是一种成熟团队的判断力——不是所有能自动化的东西，都应该交给模型自主决定，尤其是在金融这种高风险领域。

真实业务压力下的Agent：研究分析师到底需要什么

为了避免抽象讨论，Anju选了一个具体用户画像：研究分析师。她用很接地气的方式拆解了这个角色的日常——他们既要处理海量非结构化信息（新闻、电话会议纪要、研究文档），又要分析结构化市场数据，还要频繁与同事沟通，甚至自己建模写代码。

而这一切发生在一个“非谈判条件”极其严格的环境中：精度、全面性、速度、可用性，以及对客户和数据的保护。Anju说得很直接：“这些要求不管你用不用AI，都是不能退让的。”这句话几乎为后文所有工程决策定了基调。

她给出了一个令人震撼的背景数字：彭博每天要处理约4000亿条结构化数据、超过10亿条非结构化信息，并且拥有40多年的历史积累。在这种规模下，Agent不是“帮你多想一步”的玩具，而是必须在极端负载和高可信要求下工作的生产系统。

第一个Agent产品：财报电话会议摘要，没你想得简单

彭博在2023年真正严肃投入Agent产品的起点，是财报电话会议摘要。表面看，这是一个“很适合LLM”的任务：转录、总结、提炼关键信息。但Anju坦率地说，模型的“开箱即用”表现并不好，尤其是在精度、事实性和一致性上。

关键问题在于：这些摘要不是给一个人私下聊天用的，而是“发布后所有客户都能看到”。任何错误都会被无限放大。因此，团队在ML Ops层面投入了大量精力，构建监控、补救流程和“断路器（circuit breakers）”。她强调，这些系统不是锦上添花，而是Agent能否上线的前提。

这是一个非常具体的教训：当Agent从Demo走向产品，最大的工作量往往不在Prompt或模型选择，而是在“如何发现错误、如何阻止错误扩散、如何持续修复”。这也是她反复提醒听众的现实主义立场。

规模化Agent的核心心法：接受它“一开始会很烂”

在谈到“Scaling”时，Anju给出了一个非常诚实的判断：“除非你是魔术师，你第一次做出来的Agent一定会有点烂。”关键不在于第一次，而在于如何让它快速进化。

她把这一问题拉回到传统软件工程：优秀的软件之所以能演进，是因为有清晰的架构、可观测性和韧性（resilience）。Agent也一样。你必须假设它会犯错，并在系统层面为错误设计恢复路径，而不是寄希望于模型“下一版就更聪明”。

这也解释了为什么彭博至今坚持“半Agent架构”：一些决策必须由规则和代码强制执行，比如金融建议的合规拦截。这不是对Agent的不信任，而是对现实负责。她最后说，Agent规模化需要的是“改变心态”，从追求完美智能，转向构建可控、可恢复、可持续演进的系统。

总结

这场演讲最有价值的地方，不在于炫目的架构图，而在于一种极度克制、工程驱动的Agent观。Anju Kambadur用彭博的真实经验提醒我们：Agent不是更聪明的聊天机器人，而是要在高风险、高规模环境中承担责任的系统。接受不完美、设计好护栏、为错误做好准备，或许才是Gen AI产品真正走向规模化的起点。

关键词： AI Agent， 生成式AI， Bloomberg， 大语言模型， 模型部署

事实核查备注： 1. 演讲者：Anju Kambadur，Bloomberg Head of AI Engineering（视频标题信息）。2. 时间线：2021年底开始关注LLM，2022年自研模型，2023年转向在现有模型之上构建产品。3. 数据规模：每天约4000亿条结构化数据、10亿+非结构化信息、40多年历史积累。4. Agent定义参考论文：《Cognitive Architectures for Language Agents》。5. 产品案例：财报电话会议转录与摘要，强调监控、补救流程和断路器。