企业部署AI代理面临多重挑战：治理、安全与人才成关键瓶颈

科技行业正以包含自主AI系统的劳动力愿景吸引企业客户。供应商宣称，代理式工具能够在最少人工干预下做出决策并处理复杂任务。然而，在代理技术推广近一年后，大多数企业仍在努力建立合适的流程以支持企业级采用。

CIO们正在解读海量且快速变化的营销术语，同时应对安全、变革管理和治理方面的缺口，而技术的不成熟又使整个环境充满不确定性。尽管探索AI代理的企业比例在上升，但真正有意义的采用仍然有限。

根据最新的KPMG AI季度脉搏调查，约65%的组织表示在4月试点该技术，较上一季度的37%有所提升，但大规模部署仍维持在11%。尽管面临重重障碍，企业对AI代理的兴趣和热情依然高涨，技术领导者正努力过滤噪音，并在必要时建立护栏以加速价值实现。

百事公司正依据上季度发布的最新版AI治理框架和政策来推进代理式AI。这家饮料巨头约四年前首次建立了相关框架。百事公司执行副总裁兼首席战略与转型官Athina Kanioura表示，公司内部的AI代理应用仍处于早期阶段。她告诉CIO Dive：“目前还没有任何政府政策或框架——只有通用指南。我们作为行业和个体企业，正尝试首先制定这些政策和指南，然后执行将随之而来。”

在缺乏AI代理标准的情况下，技术领导者必须根据预期的广泛变革设定合理的采用步伐。

治理缺口

代理式AI为治理框架带来了新挑战。百事公司正在探索AI代理如何改善技能提升和呼叫中心管理，并依靠多家技术合作伙伴在部署和治理方面取得进展。Kanioura表示，这家消费品公司主要通过几种关键方式维持对代理的治理：依赖内部和供应商提供的护栏、员工接受AI培训，以及领导团队每年两次向董事会汇报战略。

Kanioura说：“代理更棘手的一点在于，它不是一个执行重复任务的机器人就完事了。”她补充道，代理越智能、越自主，风险就越高，尤其是在非确定性系统中。负责任AI、可追溯性和偏见缓解一直是公司战略的一部分，但代理的出现凸显了这些要素的必要性。

大多数企业不愿在没有保障业务安全的计划下将代理式解决方案投入生产。

AWS合规与保证副总裁Sara Duffer在给CIO Dive的邮件中表示：“传统上，治理框架植根于系统交互的概念，这些交互在很大程度上是确定性的，输入和输出大多可预测。”她补充道，政策和控制措施旨在应对已知情况，有效性通过时点评估或回溯一段时期来确定。

Duffer说：“这需要转向动态监控和评估。”她表示，基于交互定义护栏将是未来关键，但同样存在边做边学的成分。“我们需要应用现实世界经验来评估这些系统如何与资源交互、如何做出决策以及如何演变行为。”

尽管业界一致认为AI代理需要治理剧本，但企业仍在确定需要哪些修订。历史上，商业领袖常求助于美国国家标准与技术研究院（NIST）等组织来降低风险。CIO们将NIST的生成式AI风险缓解指南视为情境化和缓解风险的起点。NIST尚未发布代理式AI风险管理建议，但该标准机构已开始着手解决这一挑战。本月早些时候，NIST将单代理和多代理用例纳入其即将发布的《AI系统安全控制覆盖》系列的可能主题。目前，企业只能独自摸索。

安全困境与技术不成熟

保护代理安全是大多数企业实施计划中另一个卡点。CIO及其高管同事已经意识到失控AI系统带来的危险，对具有更高自主性的工具更为担忧。波士顿咨询集团董事总经理兼高级合伙人Matt Kropp表示：“企业构建代理时很可能没有充分考虑所有这些复杂性，从而引发安全问题。”

Gartner预测，AI代理将通过缩短利用认证和通信渠道的时间来削弱网络安全态势。数据隐私和添加其他控制措施也是关注重点。Kropp表示，企业需要考虑构建或添加身份访问控制，以缓解最紧迫的挑战。“代理是否拥有像员工ID那样的身份？你如何决定该代理可以访问哪些文件？”Kropp说，“这些问题会有技术解决方案，但目前尚未完全成熟。”

技术不成熟也给企业采用带来障碍。供应商仍在解决互操作性挑战，并增加可扩展治理控制的选项。Lowe's AI、数据与创新高级副总裁Chandhu Nair表示：“鉴于扩展技术和所需协议仍处于早期阶段，我们正采取非常谨慎的方法。”尤其是在供应商大力推销产品时，企业应对夸大宣传保持警惕。为了克服噪音，CIO们正依赖自己信任的网络。

百事公司的Kanioura说：“拥有一个合作伙伴生态系统非常重要：有些来自行业，有些来自技术领域，有些来自更广泛的生态。分享最佳实践，并推动技术开发社区继续为用户开发解决方案——而不仅仅是为了技术社区本身——这一点至关重要。”

CrowdStrike美洲现场CTO Cristian Rodriguez表示，代理系统通常应被视为高风险工作负载。他在邮件中说：“企业需要在两条战线上治理代理式AI：防范对手并控制其允许执行的操作。这意味着实时强制执行身份、访问和意图，并保护整个AI生命周期——从训练到部署再到推理。”Rodriguez认为，如果AI工具被信任执行操作，它需要与环境中任何人类或机器同等级别的保护，例如API审计、实时数据访问分析以及身份和访问管理策略审查。

变革管理中的人为因素

员工以有意义的方式与技术互动的能力对采用至关重要。CIO可以依靠变革管理实践将AI代理引入并嵌入员工工作流程。总体而言，员工对缺乏人工监督、出错时责任不清以及AI代理引入偏见或不公平待遇表示担忧。随着战略成形，培训和技能提升已成为关键杠杆。Principal金融集团执行副总裁兼CIO Kathy Kay利用员工培训促进围绕AI的开放沟通并解决员工关切。

Kay告诉CIO Dive：“我们希望让员工从事更高价值的工作……所以我们谈论信任，谈论如何更自在地使用AI、出错时该注意什么以及如何高效使用它。我们还会讨论企业风险AI框架，让员工了解我们如何负责任且合乎道德地治理模型。”开放对话可以缓解员工担忧，同时促进有效的采用技巧。Kay说：“我们分享很多东西，希望能帮助他们感到更自在。这是一个持续的过程，我们经常讨论，并随着员工的反馈不断纳入改进。”

企业仍在试图理解AI代理将如何影响工作角色和职能。CIO们正在考虑员工管理AI代理意味着什么，而员工抵制和对AI的恐惧情绪也在增长。普华永道首席AI官Dan Priest告诉CIO Dive：“这一切都涉及领导力，业务领导者需要非常清晰和肯定地阐述人的角色——不仅是今天，还包括未来如何持续——这样人们才会觉得在这段AI旅程结束时自己仍有价值主张。”

评估准备度

除了管理部署和采用，CIO们还面临跟上快速变化技术的压力，并意识到快速行动的组织可能犯错。Gartner预测，至少40%的代理式AI项目将在未来两年内失败，原因是成本上升、业务价值不明确和风险。分析师指出，今天的代理不会与明年相同。总体而言，AI代理性能较低，在大多数任务中错误频发。

Dataiku AI战略主管Kurt Muehmel表示，企业经常询问供应商能力和治理如何改进。客户想知道AI提供商如何确保代理始终找到正确答案的正确路径。不确定性和技术的新生性正促使组织采取预防措施。例如，Lowe's正依靠内部实验来试水，但也预计技术成熟会很快到来。Nair说：“AI的一切都以光速发生。”

一些早期采用者已取得成效。普华永道调查发现，早期采用者通常将生产力提升和成本节约归功于AI代理。超过四分之一的受访者计划在未来12个月内增加至少26%的预算，以支持代理能力。

大多数组织仍在寻找早期采用带来的潜在竞争优势与不成熟技术伴随的风险之间的平衡。对CIO而言，快速变化和缺乏成熟度也意味着在未掌握所有答案的情况下编写治理剧本。安永全球首席创新官Joe Depa表示，企业在推进代理式AI时必须保持警惕。“无论代理式AI多么有趣或令人兴奋……我们需要确保对代理进行认证、入职，确保它们按承诺行事、负责任地行动并以正确方式使用数据。”