可扩展的对话式人工智能部署的要求

要想实现快速准确地推理、实时数据分析并借助大量语音机器人实例处理大量来电，客服中心解决方案平台必须具备出色的性能、准确性和可扩展性。英特尔提供一系列人工智能解决方案，结合英特尔至强可扩展处理器、经优化的英特尔库和软件工具，能够满足智能客服中心的需求。

实时性能

虚拟语音助理架构是一种复杂的技术集成（见图 2）。解决方案的端到端部署涉及多种组件，包括采用深度神经 络 (DNN) 的算法、传统语音处理、图形处理、企业软件集成和其他功能， 此外还有服务器、存储和 络组件。要想缩短整个管道中的延迟，就会对算力提出严苛的要求。但是，如果仅使用一项技术（例如使用 GPU 的 DNN 内核）加速整个解决方案的某一方面， 并不能完全解决客服中心接线员和客户在意的问题——整体吞吐量。

为加速对话式人工智能而设计的处理器
英特尔至强可扩展处理器家族专为要求苛刻的工作负载设计， 可以为语音分析等人工智能解决方案提供高性能推理和可扩展性优势。此外，这款处理器还集成了硬件增强型技术，可实现云端和本地的可扩展语音分析解决方案部署。下面列出了其中一部分技术：
度学习加速指令7，可提升推理速度。

特尔高级矢量扩展 512 技术（英特尔AVX-512），用于浮点运算。
持英特尔傲腾持久内存7，可用作大型内存池或分层内存。

特尔虚拟化技术（英特尔VT），可提高虚拟化性能。

面向人工智能的软件优化
对话式人工智能算法使用 Kaldi 工具包、Pytorch、Caffe、TensorFlow 等多种框架。英特尔的人工智能产品组合包括各类库、经优化的软件框架、能够显著加速这些框架中的函数运算的工具以及人工智能中常用的编程语言。经优化的库和工具包括：
特尔数学核心函数库（英特尔MKL），包含基本线性代数子程序 (BLAS) 优化
于神经 络原语的面向深度神经 络的英特尔数学核心函数库（英特尔MKL-DNN）
优化的内存管理库，例如 jemalloc 或 tbbmalloc

程管理工具，例如 OpenMP 和英特尔线程构建模块
（英特尔TBB）

和 C++ 编译器

英特尔的人工智能软件产品组合可为各类人工智能实施提高性能，其中包括诸如自动语音识别 (ASR)、自然语言处理 (NLP)、机器翻译 (MT)、文字转语音 (TTS) 和语音生物识别等语音分析算法。这些优化有助于在整个对话式人工智能管道中提供实时性能。

富有活力的解决方案提供商生态系统

现在的客户服务通话需要应对数百种语言的对话。部署往往是特定于某个地域，在设计时会指明具体产品名称、首字母缩写以及其他特征和问题。我们充满活力的解决方案提供商生态系统正努力满足所有企业客服中心的对话式人工智能服务需求。

Gnani.ai (https://gnani.ai) 开发特定于地域的语音助理，推动企业客户服务的自动化。除了 ASR 和 NLP 引擎，Gnani.ai 在其平台中还增加了特定于垂直地域和特定于客户的智能，为能够快速解决客户咨询问题的“自动语音机器人”提供支持。

“采用语音机器人的技术难点在于 ASR 引擎和 NLP
模块能否识别说话人的多种语言、方言和口音差异，并理解地域差异造成的语言和语义差异。Gnani.ai技术通过持续的学习层来帮助理解和学习地域特定智能，从而高效地解决了这些挑战。”
——Ganesh Gopalan，Gnani.ai 首席执行官

优化 ASR 算法，缩短处理时间

Gnani.ai 与英特尔的工程师紧密合作，以在英特尔至强可扩展处理器的基础上实现解决方案的性能优势。自动语音识别是语音助理管道的最需算力的一部分。对 ASR 延迟的改进对于整个语音管道延迟具有重要影响，因此成为优化的重点。

通过利用英特尔软件库、编译器以及性能和并行工具，Gnani.ai大幅缩短了 ASR 算法的处理时间。通过这一改进，他们的应用在指定英特尔平台上可以并行处理更多流。

语音解决方案的另一个关键组成部分是语言解码器。英特尔针对解码器提供了优化，例如 CTC 定向搜索和基于维特比算法的解码器（使用 WFST 组合 HMM 信息）。英特尔还提供经优化的英特尔集成性能原语（英特尔IPP），以提升包括信 处理在内的各个领域的性能。

Gnani.ai 还评估了从第 8 代英特尔酷睿处理器到英特尔至强可扩展处理器的不同 CPU SKU 的算法性能。测试表明，如果不进一步更改软件，优化前后 CPU SKU 性能提升相差无几。这样一来，用户就能跨各类基础设施配置部署 ASR，包括本地企业数据中心、专属数据中心或云数据中心。

结论

公司服务和支持代表给客户带来的体验会影响客户和潜在客户的购买决策。企业必须为这些语音互动提供支持，但是相应成本较高。因此企业开始寻求自动化人工智能解决方案，以便满足他们十分重视的总体拥有成本要求。基于人工智能的虚拟语音助理潮流已经开始推动客服中心的转型。Gnani.ai 等公司致力于为虚拟语音助理和语音机器人开发 ASR 和 NLP 技术。

为获得成功，解决方案的整个处理管道需要快速运行，并能同时高效地处理多个流程。平台还必须具备动态扩展的能力，在必要时能够支持大量并发语音通道。为了兑现人工智能语音分析的承诺，解决方案提供商必须将其软件部署在有能力从边缘到云或本地数据中心实现扩展的平台上。
使用英特尔至强可扩展处理器和英特尔提供的优化，Gnani.ai 缩短了 ASR 算法的处理时间，从而在同一平台上能够处理更多并发语音流。英特尔至强可扩展处理器可为此类工作负载提供独有的性能优势，并在出现并发使用高峰时，提供出色性能， 降低总体拥有成本。

英特尔和 Gnani.ai 将继续合作优化语音分析算法的性能，促进向智能语音机器人服务和虚拟语音助理的转变。

Gnani.ai 是英特尔AI Builders 计划的成员之一。英特尔AI Builders 计划是由出色的独立软件供应商 (ISV)、系统集成商 (SI)、原始设备制造商 (OEM) 和企业最终用户组成的生态系统，所有成员的共同使命是推进在英特尔平台中采用人工智能。