基于新型文档频的平均互信息改进研究

互信息未考虑单个特征词发生的频率,不仅造成了互信息评价函数倾向于选择特征的稀有词,而且还过滤掉了经常出现的高频词。当特征关键词和类别都增多时,得到的特征关键词与类别之间的平均互信息变小,说明数据在处理过程中去掉了信息,不会创造出新的信息。为此把文档频引进平均互信息,使其对平均互信息的缺点进行修正。实验证明,该方法具有训练和测试速度快,特征提取速度非常快等特点。