01 内容安全

在18年的时候，红极一时的一名主播因为在直播过程中发表一些不当的言论而遭到封杀。同样的案例还有因主播在直播过程中发表涉政相关的言论而被封杀。今年是建国70周年，很多境外的反动组织为了扩散他们的言论在某些直播平台或者 交平台散播宣传音频或者视频。他们通常用录音机等播放设备将提前录制好的音频和视频连续不断地进行播放，这是一个典型的 交问题。

此外，直播中还存在较多的色情问题，包括视频、图像方面的色情，也包括音频方面的色情。有时也会有广告导流行为，所谓广告导流就是在某一个直播平台上，大家在音视频交流过程中有人发类似于我们私下加个微信聊吧，这样这个平台的流量就会被导走。我们的工作就是要在音频中识别出这些行为，为这些行为打上标签，让运营平台知道这些音频中存在这样或者那样的问题。以上所分析的问题完全属于截流问题。

02 内容运营

内容理解的优势在于可以进行内容推荐，一个典型的例子就是在交友的 交平台上，如果通过声音识别出是一位大叔，就可以给他推荐一位萝莉，如果声音识别是一位御姐，就可以推荐给她一个正太，这样就有希望延长他们之间的交流时间。

内容理解的过程中存在一定的困难，比如远场识别，对于直播来说识别过程中最大的困难是混响和噪声。主播在直播过程中为了吸引更多的人观看通常会唱歌，唱歌一般都会加混响来使歌声听起来有绕梁三日的感觉。但是这种情况就会对语音识别产生较大的影响。此外，我们在使用语音搜索和语音输入法的过程中为了获得更加正确的结果会故意放慢说话速度，表达相对更加清晰。而直播过程中为了获得良好的互动，说话都会比较随意。唱歌也是一个比较难解决的问题，在语音识别建模的过程中，很多情况下都是使用带音调的音素来进行建模，但是在唱歌的过程中语音的声调会发生变化。这样也会引起识别不准确的问题。目前已经有很多有效的方法来解决这些问题。

在语音转写文字的过程中，采用 DNN+LSTM，然后使用 lattice-free MMI 方法训练现有模型，我们使用的语言模型是 ngram 方式。这是一个相对比较主流的框架。目前 ASR 主要解决的是把音频中的文字提取出来。

上述第一步将音频转换成文字，第二步将分类信息标签集，第三步需要对转换出来的文字进行文字识别，文字识别主要包括文字的分类：基于一段文字判断它所属的类别，比如这段文字是不是属于色情话题或者是带有辱骂性等。模型不能完全解决这方面的问题，还需要有关键词类比。我们给出的框架通过 fasttext 模型或者一些传统的机器学习算法来进行模型分类，同时联合关键词信息进行处理。在使用模型训练之前首先对文本进行预处理，比如分词、归一化等。

下图是我们整个框架的架构图，将上述我们分析的各个模块整合在一起。在模型层面包括 ASR 模型、文字相关模型、声音相关模型、行为相关模型、名单库等。通过引擎层输出各种各样的分数，最后我们有一套规则，规则引擎会对所有模型层面和画像层面输出的结果进行汇总，最终得到结论。

今天的分享就到这里，谢谢大家。

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树人工智能机器学习工具包Scikit-learn212229 人正在系统学习中