敏感词过滤是随着互联 区发展一起发展起来的一种阻止 络犯罪和 络暴力的技术手段，通过对可能存在犯罪或 络暴力可能的关键词进行有针对性的筛查和屏蔽，很多时候我们能够防患于未然，把后果严重的犯罪行为扼杀于萌芽之中。
随着互联 区和UGC应用的不断发展变化，敏感词过滤系统也经历了不断的发展演进，有如下多种过滤方式：
一、敏感词替换
敏感词替换是较早出现的一种敏感词过滤方式，即系统不会在用户端进行敏感词过滤和校验，而是把这个工作放在数据入库之前完成，在数据写入数据库之前，系统根据已经制定的规则把所有敏感词替换为设定好的符 或文字，这个过程是不可逆的。
敏感词替换
这种技术手段对于阻止 络暴力成效显著，用户在阅读其他人的发布信息时，不会再看到那些刺眼的侮辱性的字眼，但又不会太过于破坏发布者的本意。同时也不会对用户阅读造成很大干扰和障碍，尤其是在聊天室或群组等场景中表现优异。
但这种过滤方式仍然可能会对普通用户造成“隐性骚扰”，因为我们基本可以凭借上下文来基本猜出那些被替换成“***”的本来面目。
二、敏感词屏蔽
敏感词屏蔽就是发布的信息里的敏感词被直接去除，再写入数据库，这种方式能最大程度上避免对普通用户的“隐性骚扰”，但随之而来的代价就是可能会造成发布信息的可读性下降，甚至影响到阅读体验。
三、用户端阻止发布
用户端阻止发布是指系统在用户发布信息时，对信息进行本地或服务器端敏感词校验，一旦发现用户发布的信息有词汇符合敏感词过滤条件，即阻止用户的发布操作并返回提示信息，提示用户有敏感词不符合发布要求，并要求用户修改自己发布的信息。
短文字用户端屏蔽敏感词效果好
这是一种对用户体验伤害最小的，最人性化的敏感词过滤方式，但随之而来的可能也是冷人咋舌的人工成本。
五、“小黑屋”
系统允许用户发布信息，但用户发布后使用AI辅助方式找出存在敏感词风险的发布信息并批量导入“小黑屋”，然后通知发布者进行修改，一直到系统不再提示有敏感词风险为止。
六、仅发布者可见
有些UCG 区采用了这种敏感词风险控制机制，命中了敏感词的文章或信息，系统暗暗地把信息设置为仅发布者自己可见，而发布者可能还为自己的信息没有浏览和点击而疑惑不解，这真是让发布者“死得不明不白”。这种过滤机制真是非常奇葩，但它却真实地存在很多应用中。
综上，敏感词过滤是一种阻止 络暴力和 络犯罪的非常有效的手段，但有时候它也会因为其关键词而误伤用户，造成一些让人啼笑皆非的问题，比如下面这个流传甚广的段子：
半夜IDC急电，“你的 站有涉嫌的关键词，请立即删除！”站长立即从被窝里爬起，冒着零下10度的严寒上 ，找那个违法关键词。最后找到的是这样一条信息：转让一台独立服务器。
在用户发布比较大段的文字或文章时，特别是一些UCG 区。例如美食评论、酒店居住体验、活动体验、游记等等，庞大的敏感词库+过于苛刻的匹配规则+用户端阻止发布就可能会误伤到普通用户，对普通用户的使用体验造成严重伤害。
这是一场没有硝烟的战争，这是一种无声的军备竞赛，系统和恶意发布者之间相互博弈，最后造成的结果就是——关键词库越来越庞大，庞大到已经干扰到了普通用户正常发布UGC内容的程度了。
我有个朋友就是这种军备竞赛的牺牲者，她在忍无可忍的情况下在朋友圈发布了这样的动态：
“敏感词”让用户猜不透
她在口碑上想要发布自己的美食分享，但系统总是提示有敏感词，但敏感词是什么？系统却又不告诉她，最后她凭着自己的不懈努力，终于发现是这个美食店的一款【法式禽兽汉堡】里的“禽兽”二字命中了敏感词库，所以被阻止发布。
而我自己也曾经多次在不同的UCG 区碰到过类似问题，特别是在移动端，这种敏感词过滤机制简直是“反人类”的“劣币驱逐良币”过滤机制。
因为优质用户才会输入较长的文字信息，又因为文字信息很长，导致命中敏感词的风险急剧上升，而又因为文字信息很长，导致排查敏感字非常困难。
查理芒格曾说“如果你告诉我将会死在哪个地方，我以后就绝对不会去那儿”，但这些系统却绝口不提我们会死在哪儿，让我们没有目标地瞎转乱撞。很多时候，精疲力尽的用户会选择放弃发布信息，甚至进而影响它对整个应用的使用体验，从而放弃整个应用。
题图来自Unsplash，基于CC0协议
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！