AI智能体对网络安全框架构成新考验

AI智能体正在迅速改变企业的运营方式，重塑使用者的网络安全格局，同时将风险扩散至业务的各个层面。

部署这项技术的吸引力十分巨大。根据Gartner近期的一份报告，企业预计将把生成式AI模型和AI智能体的支出增加一倍以上，2026年将新增60亿美元投入。尽管部分组织表示，智能体系统仅用于非常具体的任务，但也有企业已将AI嵌入人类决策流程，并计划在多数场景下实现无需人工干预的运行。

然而，Anthropic的Mythos以及OpenAI推出的Daybreak计划等更新、更强大的模型，恰恰凸显了智能体AI能够获得多大的访问权限。高管们必须引导组织走向一种新的风险管理模式，以应对智能体时代不断变化的网络安全风险特征。

根据Okta近期的一份报告，超过半数的高管表示，其组织在过去一年中遭遇过与AI相关的安全事件或险些发生的事故。随着网络风险日益受到关注，AI供应商自身也参与到企业级AI安全管理领域之中。

尽管许多企业迅速跟上了智能体AI的热潮，但技术领导者正意识到，这些系统给组织带来了利益与风险交织的复杂局面，Gartner高级总监分析师Shiva Varma对CIO Dive表示。智能体AI正在改变企业面临的风险类型和频率，并使安全成为一项跨组织的共同责任。

“它们并不能解决所有问题，它们伴随着大量风险，而且运行成本非常高昂，”Varma说。

全新的风险格局

智能体AI已超越生成文本、图像或代码的能力，开始承担决策制定和任务执行职能，完成传统上由人类员工承担的工作，天普大学网络安全教授Aunshul Rege表示。

一个普通的智能体可能正在访问互联网、查询数据库，或在整个企业的知识库中检索敏感信息。由于AI智能体被赋予这种自主性，其权限必须经过审慎考量，Forrester高级分析师Janet Worthington指出。

Worthington表示，她观察到一种趋势：客户为了追求生产力而赋予智能体过大的自主权。尽管企业为员工制定了AI使用准则或政策，但智能体的设计初衷是完成任务，Worthington说，而且往往不计代价。当企业将这些智能体嵌入系统后，它们能够学会绕过障碍，即使遇到安全导向的路障或护栏也是如此。

“每当它们执行一个动作，它们就会从中学习，因此当它们在现实世界中遇到问题、被要求执行某项操作时，它们会回头学习并尝试另一种方式，”Worthington说。

人类也会以这种方式运作，她说。但智能体不会“下班打卡”，她补充道。

“如果我们不开始将这些智能体视为具有独立身份的主体并加以约束，那么我们将看到更多问题出现，”Worthington说。

国家网络安全联盟信息安全与参与总监Cliff Steinhauer将智能体AI的兴起比作十年前的云革命。企业正从运营自有设备和流程转向自动化运营。

“采用新工具会改变风险的程度，”Steinhauer说。“这是一套新的技能组合，需要管理的内容比以往多得多。”

除了权限过大的智能体之外，这项技术还使企业更容易受到外部恶意攻击，Rege表示，因为人类行为和信任仍然发挥着重要作用。员工可能会开始像信任人类同事一样信任自动化系统。

“许多攻击之所以得逞，是因为它们利用了人、工作流程和组织协议中的漏洞，”Rege说。

谁对安全的AI负责？

从历史上看，网络安全一直是CISO或IT团队的职责。但跨组织使用的AI系统正在打破这种结构，Rege说。技术高管面临的最大挑战不再是控制，而是协调组织的技术战略，Deloitte最近发现。

人力资源部门可能使用AI进行招聘，财务部门可能使用智能体进行采购或分析，法务团队可能使用AI处理合同。安全团队无法孤立地管理所有这些决策。

“我认为我们看到的是向共同责任的转变，”Rege说。

像CIO这样的技术领导者可能负责决定使用哪些AI模型，而网络安全团队则负责实施控制措施，Steinhauer说。人力资源和其他面向人员的团队可能负责执行政策违规的处理。

“让这些群体保持一致非常重要，”Steinhauer说。

CISO的角色也在发生变化，Worthington说。该角色正演变为组织内的信任与保障权威，需要思考AI的产出结果、这些结果是否可审计，以及如何向董事会解释这些结果。

Steinhauer表示，他观察到AI管理职位已进入C-suite，例如首席AI官等头衔。

“AI的问题在于它能做很多事情，但它缺乏足够的上下文，所以你需要一位熟悉业务、能够理解业务背景的人，”Steinhauer说。“他们能够回答：‘这是我们使用AI所期望得到的产出吗？’”

安全与治理之辨

AI的推广与对治理的诉求相伴而生，尽管许多组织难以确定应适用哪些指导原则。但仅仅因为组织制定了治理政策，并不意味着它就能免除安全风险，Rege说。

高管们应将治理视为一套规则，规定人类员工应如何使用AI，Steinhauer说。这正是组织应寻求协作的地方，以便各部门都能理解预期。

“治理要回答的问题是：我们是否应该使用这个系统？它被允许做出哪些决策？如果出了问题谁负责？”Rege说。“需要何种程度的人类监督？”

与此同时，安全策略侧重于保护系统、数据和基础设施免受侵害。它更贴近网络安全团队的传统目标。

安全、治理和风险管理应周期性审查，政策也可能随着技术发展以及组织确定哪些工具是必需的而不断调整。

“组织应抵制将AI视为魔法或灾难的诱惑，”Rege说。“更好的方法是采取结构化、基于风险的方式。”