问答服务中的基于类文档排名的问题分类算法

"新浪爱问"和"百度知道"这类问答服务系统的主要任务之一是对问题进行分类,以便于组织用户产生的问题数据,并进行进一步的分析处理。问答服务系统的实际应用需求对问题分类算法在分类效果、计算复杂度以及对噪声数据敏感度等方面提出了较高的要求。基于信息检索思想,本文提出一种基于类文档排名的分类算法,并从语言模型的角度对该算法进行分析和改进。通过在一个大尺度的问题数据集合进行的一系列实验,表明本文提出的算法在问题分类任务中可以取得优于传统算法的分类效果;同时,该算法计算量较小,适用于处理大规模数据,可以很好的满足问答服务系统中对于问题分类算法的要求。

Question Classification Algorithm in Community-based Q&A Service

In community-based Q&A service like Sina iask and Baidu Zhidao,one of the major tasks is question classification.Question classification task is important for organize the Q&A archive.The question classification algorithm for the cQA service needs to get hig h accuracy,low computation and low sensitivity to noise.This paper introduces a new question classification approach which based on the idea of information retrieval.Besides that we analyze and improve the new classification approach with language model.The experiment results with great corpus show a significant improvement when the above mentioned approach used.The new approach can deal with the huge Q&A archive.It is fit for the actual demand of the Q&A service.