HanLP 自然语言处理使用总结

一、HanLP

是一系列模型与算法组成的工具包，目标是普及自然语言处理在生产环境中的应用。具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。内部算法经过工业界和学术界考验，配套书籍《自然语言处理入门》已经出版。目前，基于深度学习的已正式发布，次世代最先进的技术，支持包括简繁中英日俄法德在内的种语言上的联合任务。

目前 HanLP 提供了下面功能：

• 中文分词
  • HMM-Bigram（速度与精度最佳平衡；一百兆内存）
    • 最短路分词、N-最短路分词
  • 由字构词（侧重精度，全世界最大语料库，可识别新词；适合NLP任务）
    • 感知机分词、CRF分词
  • 词典分词（侧重速度，每秒数千万字符；省内存）
    • 极速词典分词
  • 所有分词器都支持：
    • 索引全切分模式
    • 用户自定义词典
    • 兼容繁体中文
    • 训练用户自己的领域模型
• 词性标注
  • HMM词性标注（速度快）
  • 感知机词性标注、CRF词性标注（精度高）
• 命名实体识别
  • 基于HMM角色标注的命名实体识别 （速度快）
    • 中国人名识别、音译人名识别、地名识别、实体机构名识别
  • 基于线性模型的命名实体识别（精度高）
    • 感知机命名实体识别、CRF命名实体识别
• 关键词提取
  • TextRank关键词提取
• 自动摘要
  • TextRank自动摘要
• 短语提取
  • 基于互信息和左右信息熵的短语提取
• 拼音转换
  • 多音字、声母、韵母、声调
• 简繁转换
  • 简繁分歧词（简体、繁体、臺灣正體、香港繁體）
• 文本推荐
  • 语义推荐、拼音推荐、字词推荐
• 依存句法分析
  • 基于神经 络的高性能依存句法分析器
  • 基于ArcEager转移系统的柱搜索依存句法分析器
• 文本分类
  • 情感分析
• 文本聚类
  • KMeans、Repeated Bisection、自动推断聚类数目k
• word2vec
  • 词向量训练、加载、词语相似度计算、语义运算、查询、KMeans聚类
  • 文档语义相似度计算
• 语料库工具
  • 部分默认模型训练自小型语料库，鼓励用户自行训练。所有模块提供训练接口，语料可参考98年人民日 语料库。

在提供丰富功能的同时，内部模块坚持低耦合、模型坚持惰性加载、服务坚持静态提供、词典坚持明文发布，使用非常方便。默认模型训练自全世界最大规模的中文语料库，同时自带一些语料处理工具，帮助用户训练自己的模型。

二、Java Maven项目环境准备

首先新建一个普通 项目，在 中增加依赖：

此时即可使用基本功能（除由字构词、依存句法分析外的全部功能）。如果需要使用全部功能还需下载词典和模型，下载地址：

http://nlp.hankcs.com/download.phpile=data

将下载后的目录，拷贝至项目的 目录下：

编写测试程序，测试环境：

成功拿到结果便环境正常：

2. 极速分词

基于实现的词典正向最长分词，适用于“高吞吐量”“精度一般”的场合

4. CRF词法分词

自1.6.6版起模型格式不兼容旧版：CRF模型为对数线性模型，通过复用结构化感知机的维特比解码算法，效率提高10倍。

public class DemoCRFLexicalAnalyzer{    public static void main(String[] args) throws IOException    {CRFLexicalAnalyzer analyzer = new CRFLexicalAnalyzer();String[] tests = new String[]{    "商品和服务",    "上海华安工业（集团）公司董事长谭旭光和秘书胡花蕊来到美国纽约现代艺术博物馆参观",    "微软公司於1975年由比爾·蓋茲和保羅·艾倫創立，18年啟動以智慧雲端、前端為導向的大改組。" // 支持繁体中文};for (String

                                                        
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！