一个中文搜索引擎的查询日志分析

搜索引擎用户日志分析对信息检索学术研究和搜索引擎优化都有重要意义,文章对约20G的新浪爱问搜索引擎(http://iask.com/)日志进行了系统的分析.发现了很多中文搜索的特点,并针对这些现象提出了一些问题.这些内容对于掌握用户搜索行为,完善搜索引擎系统和中文信息检索研究都具有重要的意义.该文为2008年第七期本期话题<用户查询的理解>的文章之一.     

基于SVM的中文查询分类

在问答系统中用户的查询是以自然语言问句的形式出现的,查询分类对生成合适的答案有着重要的指导性作用.现有文献大多基于SVM统计学习模型实现查询分类.文章详细分析了中文查询分类的典型特征及其编码过程,并给出了LibSVM分类器的参数优化及核函数选取方法.比较了词袋特征(bag-of-word)和词性与词袋绑定特征(bag-of-word/pos)在LibSVM(RBF)、LibSVM(Linear)和Liblinear三个分类器上的分类精度.实验结果表明,在问题训练集规模较大、特征维数较高的情况下,Liblinear分类器具有更好的性能.同时,得出一个结论:bag-of-word/pos特征对英文查询分类有一定的贡献;对于中文查询分类,虽然理论上增加特征有利于提高SVM分类器的精度,但由于绑定词性特征后可能会引入噪声,进而降低查询分类的精度.     

学术查询意图类目体系构建与分析:百度学术查询日志的实证

[目的/意义]了解、分析和识别用户学术搜索时所表达的信息需求是优化查询结果、提高学术搜索引擎用户体验的首要步骤,而用户进行学术搜索时通过查询表达式所表达的用户表意信息需求及潜在信息需求可称之为学术查询意图。本文总结学术查询意图类目体系有助于学术查询意图识别和检索结果页面的呈现。[方法/过程]在A.Broder的查询意图类目体系的基础上,结合百度学术搜索查询日志中查询表达式实例,构建学术查询意图的类目体系。以此为基础,总结不同类别的学术查询意图,并分析不同类别学术查询意图下查询表达式的特点。[结果/结论]学术查询意图主要分为学术文献类、学术实体类、学术探索类、知识问答类和非学术文献类五大类;得出不同类别学术查询意图在学术搜索中的大致比例;给出每类学术查询意图的查询表达式特征、查询情景和查询结果页。     

基于查询意图聚类的实时搜索建议

对于搜索引擎返回的结果太多且较少考虑用户个性差异等缺陷,提出根据用户查询意图,实时给予多个主题的搜索建议,帮助用户更准确地描述所需信息,修正查询词与真实意图之间的差距,提高检索效率。同时运用K-means算法,对资源类别的意图特征值相似用户进行聚类,缩小查找目标对象最近邻居的范围,提高搜索建议的实时响应速度。实验结果表明,该方法是可行的。     

基于日志挖掘的学术搜索困难度量方法研究

[目的/意义] 用户检索中经常面临不同程度的信息搜寻困难,为更好地理解用户需求、改进检索系统,需要一种简洁有效的方法度量信息搜寻的困难程度。[方法/过程] 将用户为查询而付出的行为及时间代价作为其信息搜寻困难的体现。按照用户在会话中的行为模式划分会话类型,将查询需求被满足且代价最小的会话类型作为比较基准,用基准会话的代价衡量其他会话类型的困难程度。为优化代价的表达模型,对搜寻代价的行为指标进行相关性检验,用因子分析选择独立性、区分度好的行为特征进行建模。以国家科技图书文献中心（NSTL）日志和搜狗日志为数据集比较学术搜索与通用搜索环境,以及不同会话类型所代表的探索过程中,用户的信息搜寻困难度。[结果/结论] 在本文所度量的两种搜索系统中,用户面临的信息搜寻困难度分别为2.30和1.57,学术搜索中的困难高于通用搜索。在两种体现学术探索过程的会话中,困难度分别为2.35和4.13。本文提出的方法可以用简单的数值来概括具有多种影响因素的搜索困难,并能用于不同类型会话和搜索环境,丰富了检索系统的评估手段。     

搜索引擎查询日志的词性标注和挖掘研究

利用搜狗（Sogou）2007年3月的查询日志,使用词性标注方法,得出高频词性标注结果的分布特征。发现用户在查询中以使用名词为主,动词为辅,鲜有其它词类出现在高频词性标注结果中。以“的”为代表的虚词较少地出现在高频词性标注结果中。网络搜索的查询式与自然语言在句法上存在一定差异,但也有相通之处。用户主要使用名词进行概念性检索,关键词仍为用户进行检索的主要手段。高频词性标注结果部分符合Zipf定律。     

查询与搜索的较量

曾几何时,信息查询是图书情报人的专业,因为只有他们不仅理解计算机的检索工作原理,更清楚图书馆的资源组织模式，这两项基本知识和技能赋予了情报人的博学与智慧，然而搜索引擎的出现使信息查询不仅不再神秘，就连文盲也可以在瞬间学会网络信息中遨游的基本方法。     

基于用户视角的交互式查询扩展研究

传统的查询扩展方法,不能从根本上消除用户查询意图与检索结果之间的语义偏差和用户查询的歧义性问题,而交互式查询扩展可以有效地帮助用户更快捷、精确地从海量的网络资源中找到所需信息,为用户提供更满意的搜索结果。综合运用文献调研和问卷调查法,从用户使用及需求情况、使用原因、评价及建议等维度对交互式查询扩展进行实证分析。提出操作方式简单化、查询扩展个性化、交互显示人性化、检索结果精确化、检索环境移动化是交互式查询扩展的研究重点和主要发展方向。     

基于查询扩展和节点聚合的P2P搜索方法

在非结构化对等网络上,提出一种基于查询请求扩展和相似节点聚合的P2P搜索方法.该方法利用用户的搜索行为自动发现关键字之间和节点之间的关系,记录在每个节点上的知识库内并不断更新.在以后的搜索中,利用关键字的关联关系,增加命中目标;利用相似节点的聚合,缩小搜索范围.模拟实验结果证实该方法具有较高的查询命中率和查询准确率.     

基于对象代数的查询语言及其查询处理

在大多数面向对象数据库中，数据只能通过程序设计语言来存取，终端用户没有一个简单的工具执行查询。本文讨论了一个类ＳＱＬ的查询语言ＡＳＱＬ，以解决上述问题。ＡＳＱＬ是基于对象代数的查询语言，本文讨论了对象代数表达式的等价变换规则，利用这些规则进行查询优化。本文只讨论高层优化─—通过等价变换对表达式重写实现查询优化。     

中文搜索引擎用户检索式特征探析

这项研究采集了百度、一搜、中搜和搜狗四家中文搜索引擎的七千余项检索式,分别从词汇出现频次、词汇量、类别等方面分析了中文搜索引擎用户的检索行为特征,对开展用户教育和搜索服务设计都有一定的实用价值。     

基于搜索引擎分类信息的用户查询歧义消减

用户在利用搜索引擎进行信息检索时,查询条件往往存在歧义,这导致搜索结果的多样性和冗余性.传统的方法主要是基于语义分析或构建知识库,此类方法在实际应用中的可行性不高.本文基于搜索引擎的分类信息,实现了一个简单有效的分类搜索系统.它首先根据用户的查询条件,将返回的搜索结果进行分类,并以树形目录的形式展示给用户,而后根据用户的点击数据,逐步确定用户的搜索意图,从而达到了查询歧义消减的目的.论文详细介绍了系统的设计思想、架构和工作流程.测试实例表明,该系统可以在一定程度上确定用户的查询意图,为用户返回更加准确的搜索结果.     

搜索引擎用户点击行为分析

基于大规模分布式搜索引擎系统———北大“天网”的用户点击记录,本文研究发现:用户点击不同URL的数量遵从Heaps定律,点击URL的频度频级服从类Zipf分布,点击URL与页面大小相关,点击URL具有时间局部性,其顺序具有自相似性特征等一些具有普适性的规律。提出了利用点击日志确定相近查询词的一个新的有效算法。这些研究结果对于掌握用户的搜索行为,完善搜索引擎系统的设计,提高检索服务的效率和质量具有重要的意义。     

中文智能搜索引擎浅析

论述中文智能搜索引擎的特点及其与传统搜索引擎的区别;指出其所应用的关键技术;分析现存问题和发展前景等。     

基于三数组Trie索引树的词典查询机制*

对双数组Trie进行改进，设计实现基于三数组Trie索引树原理的汉语词典查询机制，并用递归算法实现构词状态表的自动构建。