跨越语言与文化壁垒：AI 如何实现多语种智能？

在全球化商业环境中，很少有企业局限于单一国家的地理边界。业务技术平台和工具不仅需要跨越海洋，还必须跨越语言和文化的障碍。

人工智能正日益融入沟通与全球化的肌理，为其算法赋予多语种和多文化能力至关重要。幸运的是，教计算机一门新语言所需的时间远少于教人类，但这一过程仍受制于资源限制以及语言内部和语言之间的细微差别。

智能多语种系统，如 Amazon 的 Alexa 和 Google Assistant，是现代 AI 应用中广泛语言能力的突出案例。随着更多企业复制它们的成功，自然语言处理社区和市场稳步增长。

算法无法替代 Duolingo 的交互体验

即使客户知道另一端不是真人，他们与聊天机器人或 AI 驱动的通信设备互动时，也不希望感觉自己在与机器对话。这种关系必须尽可能人性化和流畅。

auto image + link

系统处理外语的最基本模型是纯机器翻译。正如任何曾将一段文本复制粘贴到翻译程序中的语言学习者所知，这一过程常常充满错误。通过逐词翻译，然后将结果拼接成字符串，而不将句子作为整体翻译，结果往往显得支离破碎。

有效的纯机器翻译模型难以构建。研究人员必须建立包含当地文化和语言的知识库，Mya Systems 的 CEO 兼联合创始人 Eyal Grayevsky 在接受 CIO Dive 采访时表示。

Mya 使用一种集成模型，将多个自然语言理解模型相互比较以获得最佳输出。其中一个模型使用机器翻译，并将其置信度与原生实现进行比较，以随时间强化模型，最终达到完全原生水平。

为任何公司想要添加的语言定制解决方案是理想的，但获取如此多的数据并执行起来很困难，Mya 的 CTO 兼联合创始人 James Maddox 在接受 CIO Dive 采访时表示。

没有两种语言是完全相同的

由于独特的结构和模式，添加新语言可能很困难。语言家族中的相似性，如罗曼语族，可以促进添加新语言能力的过程。

但当添加一种不属于现有语言家族的语言时，可能需要不同的流程，Comm100 Network Corporation 的 CEO 兼联合创始人 Kevin Gao 在接受 CIO Dive 采访时表示。

例如，在具有空格分隔单词的语言中，分词更容易，而日语和中文的结构则不同。

auto image + link

即使在使用空格的语言中，分词也有不同要求。德语以冗长的复合名词而闻名，如 "Rechtsschutzversicherungsgesellschaften"（提供法律保护的保险公司）或 "Geschwindigkeitsbegrenzung"（限速），这使得翻译单个名词变得困难。

一旦句子被分词，单词被映射到向量，其中一系列数字编码其含义。例如，单词 "brighten" 的数字与 "illuminate" 相似，但与 "darken" 不同，Maddox 说。

法语、德语和西班牙语能力的构建和推出各花了大约八周时间，Maddox 说。当 Mya 计划为其工具添加亚洲语言技能（从简体中文开始）时，将需要大量定制工作。

Google 于 8 月为 Google Assistant 推出了多语种支持，这一多年努力分三个阶段进行：多语言识别、理解和识别。

助手不仅要流利理解包括西班牙语、英语、意大利语、德语和日语在内的语言，还必须同时识别和处理语言对，以便像 "turn off the lights" 这样的命令无论以何种语言发出都能被理解和执行。

语言混合现象，如 Spanglish，使多语种能力更加复杂。

走出数据舒适区

为训练新语言系统获取数据，就像为任何 AI 项目获取数据一样，是公司持续面临的挑战。

需要高质量的对话数据和自然语言语料库。对于像 HR AI 工具这样的细分产品，HR 领域常见的数据（例如关于工作福利的对话）很难现成获取，Maddox 说。公司通常采用“引导技术”即兴发挥，在内部创建场景。

小公司很难独自完成这一任务：挑战需要大量人力、人才和资金来训练算法，Gao 说。与 AI 合作伙伴合作或使用在线公开工具可以帮助缓解数据不足。

但将单词翻译输入算法而缺乏文化对应，也会导致系统不完整。

即使在一种语言内部也可能存在巨大差异。例如，在英国，像 "fortnight" 这样的词更常见，而在美国大多数地方听起来过时。而 "chip" 和 "braces" 在两国传达不同的含义——没有人想在以为得到薯条时却得到薯片，或以为得到背带时却得到牙齿矫正器。在美国国内，地区方言使统一更加困难。

auto image + link

语言在很大程度上是本地化的，与文化理解紧密相连。在北美或欧洲运营的科技巨头必须意识到将文化偏见和假设带入新市场的风险。

今年春天，Google 开始为其机器学习系统众包图像识别，针对西方文化和富裕之外记录不足的领域。例如，亚洲、拉丁美洲或非洲文化特有的图像，在西方成长和社会环境中的研究人员记录不足。

对于任何寻求在新国际市场成功的公司的国际战略而言，西方地区之外的算法素养至关重要。

进入新语言市场意味着多年的准备。Amazon 的 Echo 设备今年夏天开始在法国推广，增加了助手的英语、德语和日语流利度。Amazon 更早开始在配送中心使用 Alexa 进行迁移，然后转向早期访问客户，以了解常见问题并识别口音，据 WIRED 报道。

该公司还开发了一个多语种音译系统，用于转换不同语言脚本，创建了英语与日语、希伯来语、阿拉伯语和俄语姓名配对的数据库。