首席信息官借助NIST框架应对生成式AI多重风险

Discover Financial Services正在对生成式AI采取审慎的策略。从实验、试点到跨业务用例，这家金融机构通过基于风险设定具体防护栏，评估如何最佳利用生成式AI。这一流程使其能够以清晰的视角识别价值并确定项目优先级，无论技术是面向客户还是用于后台任务。

该方法还为Discover提供了更多保护，以应对生成式AI带来的巨大风险。

“所有这些都符合我们的标准、期望和政策，但仍然是‘人在回路’，”Discover首席信息官Jason Strle对CIO Dive表示。“这是我们缓解风险的一个非常重要的部分，这种情况将持续一段时间。”

Discover的风险降低策略紧密遵循美国国家标准与技术研究院（NIST）发布的指南，该机构于7月发布了其生成式AI风险管理框架草案。

“NIST AI风险管理框架与银行需要进行的金融风险管理、非金融风险管理或操作风险管理非常一致，”Strle说。“这种模式非常熟悉。”

随着企业对生成式AI持谨慎态度，NIST的风险缓解指南成为企业试图确定最佳起点的参考，因为技术正在快速发展。即使领导者渴望获得大规模集成生成式AI的潜在回报，他们也在优先努力避免失误并制定全面的采用计划。

NIST框架的流行并非偶然。该政府机构多年来一直致力于加强网络安全标准，这些标准已被广泛认可，现在它正为成为生成式AI的标准制定机构奠定基础。

选择众多

对于Discover，Strle将NIST的自愿框架提炼为三个步骤：

• 识别能力在何处产生风险。
• 证明组织理解如何量化和缓解风险。
• 每日进行监控。

NIST文本的最终版本源于去年10月乔·拜登总统的行政命令，为部署和开发生成式AI的组织提供了略多于200项风险缓解行动。这是4月发布的初始版本中400个步骤的精简版。

NIST AI指南聚焦于一系列广泛风险，包括信息完整性、安全、数据隐私、有害偏见、幻觉和环境影响。该框架为组织提供了情境化和缓解风险的方法。

例如，为防止不正确的生成输出，NIST提供了约19种企业可采取的行动，如设定最低性能阈值，并将其作为部署审批政策的一部分。

NIST并非唯一提供生成式AI采用指南的机构。随着供应商争相将生成式AI嵌入解决方案，行业团体和倡导机构努力澄清模型评估、风险管理和负责任流程方面的困惑。

这些努力导致了大量指南、政策建议和防护栏选项的出现，但缺乏单一权威来源。

国际标准化组织（ISO）于12月发布了AI相关的管理系统标准。麻省理工学院（MIT）于8月推出了AI风险数据库，提醒关注700多个威胁，多家专业服务公司也创建了治理框架。

选项清单的不断增长是让CIO们感到困惑还是实际有帮助，取决于你问谁。

“我不认为这是一个简单的答案，”Strle说。拥有更多缓解威胁的方式并不总是富有成效，因此企业领导者需要解读业务需要保护什么。

袖手旁观只能持续一段时间。高管们正应对全球范围内日益收紧的AI法规，从欧盟的AI法案到加州备受争议的参议院第1047号法案，加州州长加文·纽森周日否决了该法案。大多数领导者预计未来会有更严格的要求，企业正在审查和更新现有实践以走上正轨。

“我必须保持准备，因为最终它会蔓延到其他州，”AAA - 汽车俱乐部集团负责会员体验的执行副总裁、首席运营和技术官Shohreh Abedi表示。该组织在过去一年中专注于嵌入生成式AI，业务遍及14个州、一个加拿大省份、波多黎各和美属维尔京群岛。

“我们不能把头埋在沙子里，”Abedi说。

CIO的底线

CIO们对生成式AI可能带来的看似空洞的承诺感到厌倦，希望将言论转化为行动。然而，该技术的一系列风险要求更细致的安全审查，需要新的框架、最佳实践和培训。

分析师告诉CIO Dive，虽然有数百种缓解生成式AI风险的方法，但技术领导者不一定需要急于全部部署。

CIO应识别最关键的风险，无论是声誉损害还是知识产权角度，Prevalent的合规专家兼内容经理Thomas Humphreys说。“这样思考将有助于确定哪些缓解技术对业务最有用。”

随着第三方工具的易用性和员工的积极性导致影子AI的泛滥，使用生成式AI工具时保护知识产权已成为一个持续的争议点。Gartner分析师预测，未来两年内，企业为防止知识产权损失而增加支出将损害投资回报率并减缓采用。

NIST建议组织定期监控和解决敏感数据暴露问题。在AAA的北美第二大俱乐部，Abedi表示，组织禁止员工随意将敏感信息放入模型或使用专有数据训练模型。

“我们说的第一件事是，你不能使用我们的任何资产去进行你自己的生成式AI，”Abedi告诉CIO Dive。“我们会监控，如果我们发现你利用我的资产做了账户，我们会来找你并关闭它。”

Abedi说，鼓励员工提出解决痛点的用例想法，但组织不愿让未经授权的第三方提供商完全访问其大量专有信息。

这种平衡是在与利益相关者对话和风险评估后达成的，这也是NIST在指南中强调的策略。

理解风险承受度

NIST建议组织将风险缓解基于其风险承受水平，作为核心治理原则。

“一个友好且可接受的方法是首先评估实施AI的业务需求，而不是将所有AI风险缓解指南视为万能药，”电气和电子工程师协会高级会员Rahul Vishwakarma说。

当Discover考虑将生成式AI添加到工作流程时，业务会记住其当前的底线。

“如果它是完全自主的，并且回答最近的ATM在哪里，那是一种风险概况，”Strle说。“当你在做出影响客户财务生计或财务结果的决策时完全自主，那是一个非常非常高的风险概况需要管理，我们还没有达到那一步。”

Discover有控制和防护栏，但它依赖经过培训并有权访问使用政策和程序指南的员工来辨别生成式AI输出的价值。这也是NIST在指南中推荐的策略。

“我们在联络中心所做的很多工作都是‘人在回路’，你可以利用这些生成式AI能力，这与联络中心代理并行工作，”Strle说。“最终决定由遵循所有培训和流程的人做出。”

当生成式AI在特定用例中确实具有一定自主性时，CIO需要制定模型出错时的计划。对一些技术领导者来说，拥有关闭开关至关重要。

亚利桑那州格伦代尔市转向生成式AI解决一个紧迫的支持问题，当时该市正批准对其市政厅进行重大翻新，据前CIO兼CISO Feroz Merchhiya称，他现在担任加利福尼亚州圣莫尼卡市的CIO。

“我完全控制数据，也控制系统，如果它不起作用或发出错误建议，我可以关闭它，”Merchhiya说，指的是该公司的企业级IT支持副驾驶工具。“我有机制通过部署人力资源来解决问题。”

技术领导者告诉CIO Dive，风险缓解和实施计划最好一起制定。Strle表示，Discover在联络中心如何最佳使用生成式AI的前期工作与对已识别用例相关风险的评估相结合。

“我们创建的所有控制措施——金融服务必须无限期可持续——必须考虑我们所在行业的动态，而行业在不断变化，”Strle说。“在我看来，NIST框架是同一基本模式的延伸。”

CIO的下一步

尽管一些企业在风险管理方面取得了进展，但研究表明，部署生成式AI的企业数量与负责任、安全实践的普及之间存在持续差异。分析师将这种滞后归因于技术创新和采用的快速步伐。

“我看到CIO们面临更多挑战，因为他们必须做出非常困难的技术决策，甚至比以往任何时候都更困难，因为这些工具、技术和模型发展太快，”Forrester高级分析师Rowan Curran说。

尽管生成式AI引起了企业兴趣，但它仍在发展，其最佳实践尚未固化。此外，管理风险并不总是简单。根据毕马威最近的一项调查，超过五分之三的高管预计未来三到五年内他们负责的风险水平将显著增加。约五分之二的人预计超过一半的风险管理预算将用于技术。

“目前还没有规定性标准，但这些将随着时间演变，”Freshworks CIO Ashwin Ballal告诉CIO Dive。“现在，就像我们都拿着AI锤子，认为一切都是钉子。”

但转变正在发生。企业正迅速厌倦实验和试点阶段。随着领导者将用例与成功指标联系起来，早期采用者的炒作面纱正在揭开。根据德勤8月发布的研究，自今年年初以来，高级高管和董事会对生成式AI的兴趣有所下降。财富500强公司也更可能在证券文件中将AI列为潜在风险因素，而不是强调其好处或用例，根据Arize AI的研究，该研究分析了每家公司最新的年度报告。

兴趣下降之际，大多数组织正在应对与技术债务和基础设施不足相关的采用障碍，以及风险管理。尽管如此，企业仍希望其AI计划能够产生成果，使用NIST等框架的建议行动来降低采用风险。

“你必须带着建议和提议来到领导层桌前，”Curran说。“成为那个教育者，解释这项技术如何带来改变，如何与业务目标联系，以及实现目标的路径。”

编者注：本故事已更新，以反映州长加文·纽森周日否决了加州AI法案提案。