编者按:本文为客座文章,作者是Extreme Networks首席信息与客户官Anisha Vaswani。

企业级智能体AI正逼近一个临界点,技术领导者承受着快速部署AI并让其接管重复性任务的压力。

超过半数的技术领导者预计将在一年或更短时间内将人类移出决策回路,而近五分之四的公司已将AI智能体视为需要身份与治理控制的真实用户。

然而,对于组织而言,要想从这项技术中获益而非应对自动化错误,为AI设置护栏是至关重要的一步。随着企业扩展AI智能体,CIO们深知真正的挑战不在于部署AI,而在于如何安全、有效地管理它。

护栏的必要性

当AI得到妥善管理时,团队可以满怀信心地将其扩展到整个企业,同时保护关键资产。若放任自流,不受约束的AI可能导致幻觉、不当输出和范围蔓延。

这并非意味着我不支持企业采用AI。我坚信AI的益处及其改变技术格局的潜力。但对CIO而言,在部署过程中采取战略性行动至关重要。

AI的发展速度超越了我30年科技行业生涯中所见的任何事物,领导者们期望立即获得投资回报。57%的技术领导者期望在数周内看到可衡量的AI影响,这一比例在2024年仅为16%。近十分之一的领导者希望数小时内就见到回报。

期望值很高,大规模转型的潜力同样巨大——但前提是部署必须审慎进行,并对所有AI行为拥有控制权和可见性。

有远见且目标明确的CIO,将对AI护栏的关注度提升至与技术本身同等甚至更高的水平,以确保AI系统按预期运行,并能在规模化状态下安全运转。

护栏的实施路径

为了实现AI的长期价值与投资回报,CIO首先需要建立包括可观测性、监控、安全、治理和可解释性在内的护栏体系。

每个组织和用例各不相同,因此合适的护栏也会有所差异。领导者必须征求业务各部门的意见,确保覆盖所有方面。

当AI护栏获得高管层的支持、跨公司的一致认同与协作时,其效果最为显著。从CEO到首席数据官,每个人都应倡导AI治理,并定期开会讨论其相关性。

CIO可以在此发挥主导作用,创建跨职能协作论坛,将相关利益方聚集在一起,共同探讨哪些举措能带来价值、如何进行风险评估、合规视角以及技术赋能等问题。

在AI部署的初期阶段,我更倾向于坚持我们称之为“人在回路”的策略。例如,在网络领域,AI可以根据环境提出建议,但人类网络工程师仍需批准AI的操作。

由于网络对组织的各个部分都至关重要,AI不能不受约束地运行,但它可以将IT员工数小时的工作量压缩为审查和批准解决方案的步骤。随着团队随时间推移对AI建立起信任,AI可以更自主地运行,但以“人在回路”作为起点是一个有效且简单的护栏。

员工队伍的准备

与设置AI护栏同等重要的是让员工队伍做好使用AI的准备。

数据分析、AI/机器学习专业知识以及网络安全领域的AI正成为炙手可热的技能,这要求持续进行技能提升和组织变革。AI的快速迭代使得培训成为一个持续性的关注点,近半数技术负责人将技能提升列为AI实施中五大首要关切之一。

CIO需要确保IT团队具备AI就绪能力,能够部署和支持AI解决方案,同时与人力资源部门合作,为整个组织的员工提供负责任使用AI的技能和指导。

公司需要投资于构建AI素养,确保员工成为AI工具和平台的明智使用者。正如网络安全专业人士所证实的,无论设置了多少预防措施,如果钓鱼邮件漏网,最终决定是否点击的还是员工本人。

一个更精明、知识更渊博的员工队伍是更安全的队伍——这一点同样适用于AI。无论你设置了多少护栏,我们无法预见每一种情况。如果我们希望通过整合AI来提高效率,就必须信任员工能够正确使用它。

我对我们能够解决AI治理问题持乐观态度,尤其是当我们聚焦于扩大能带来实际业务价值的试点项目,而非尝试各种概念验证并观望哪个能成功时。

这种方法将为我们争取缓冲时间,使治理跟上技术发展的步伐。有了正确的护栏,AI可以释放巨大价值,帮助组织更快创新、更高效运营,并在规模化基础上推动可衡量的成果。