新时代人民日报分词语料库构建、性能及应用(二)——深度学习自动分词模型构建

目的/意义] 在新时代人民日报分词语料库的基础上构建的深度学习自动分词模型，不仅有助于为高性能分词模型的构建提供经验，也可以借助具体的自然语言处理研究任务验证深度学习相应模型的性能。方法/过程] 在介绍双向长短时记忆模型（Bi-LSTM）和双向长短时记忆与条件随机场融合模型（Bi-LSTM-CRF）的基础上，阐明汉语分词语料预处理、评价指标和参数与硬件平台的过程、种类和情况，分别构建Bi-LSTM和Bi-LSTM-CRF汉语自动分词模型，并对模型的整体性能进行分析。结果/结论] 从精准率、召回率和调和平均值3个指标上看，所构建的Bi-LSTM和Bi-LSTM-CRF汉语自动分词模型的整体性能相对较为合理。在具体性能上，Bi-LSTM分词模型优于Bi-LSTM-CRF分词模型，但这一差距非常细微。