基于ALBERT预训练模型的通用中文命名实体识别方法

HMM、CRF等机器学习算法在中文实体抽取任务上存在大量依靠特征提取及准确率低的缺陷，而基于BiLSTM-CRF、BERT等深度神经网络算法在中文实体识别准确率高，但BiLSTM模型依赖大规模标注数据，BERT存在参数量大、效率低等问题。该研究提出了基于ALBERT-Attention-CRF模型进行中文实体抽取的方法。首先将glove、Word2vec等静态词向量替换为ALBERT预训练模型字向量，可有效解决分词错误、数据稀疏、OOV、过拟合以及一词多义等问题；然后采用ALBERT作为编码层并对其输出利用Attention机制捕获上下文语义特征；最后结合CRF作为解码层输出实体正确标签，摒弃主流BiLSTM-CRF模型，最终在《人民日报》数据的测试集上取得了理想的效果。试验结果表明，该方法有助于提升通用中文实体识别的准确率和效率，其有效性也得到了较好的验证。