基于Hadoop与Mahout的协同过滤图书推荐研究

基于Hadoop开源分布式计算框架和Mahout协同过滤推荐引擎技术构建图书推荐引擎系统,并利用云模型和Pearson系数对传统协同过滤推荐算法进行改进,改善传统单机推荐算法在高维稀疏矩阵上进行运算所导致的系统性能不佳及推荐结果不准确的问题。利用实验对分布式推荐平台的整体性能及改善后的协同过滤推荐算法进行测试评估,发现当虚拟机节点不断增加时,协同过滤推荐引擎的计算时间不断减少,这表明推荐引擎系统的总体性能较传统单机推荐引擎得到提升;利用MAE分别对原始协同过滤推荐效果和改进后的推荐算法进行测评,发现改进后的推荐引擎算法的推荐准确率较改进前提高13.1%。     

基于Hadoop的数字图书馆云检索系统的设计与实现

在阐述图书馆检索系统现状、分析云检索系统给图书馆带来好处的基础上,提出了一个基于开源云计算Hadoop的分布式文件系统HDFS、分布式计算模型MapReduce和分布式数据仓库Hive相结合的图书馆信息检索平台,探讨了云检索系统中的关键组件,实验结果显示该系统在大规模数据检索方面具有很好的性能。     

基于扩展邻居的协同过滤算法

协同过滤算法是目前最主要的个性化推荐算法之一,它根据当前用户的最近邻居集所给出的评分来预测该用户对未评分项的评分.评分数据的稀疏性会影响协同过滤算法的推荐精度,为此我们提出了基于扩展邻居的协同过滤算法,在现有相似性计算的基础上通过扩展目标用户的邻居来获得更多的参考信息,从而提高预测结果的准确性.我们使用公共数据集MovieLens进行了实验,三种评价指标的统计结果显示,我们的方法要优于传统的协同过滤算法.     

基于协同过滤算法的高校图书馆图书推荐系统研究

针对当前高校图书馆主动式图书推荐服务存在的对服务对象信息需求挖掘、分析不足的问题,提出构建基于协同过滤算法的个性化图书推荐系统。通过引入读者专业、角色、学历、借阅记录等影响和反映读者信息需求的因素构建读者特征模型,基于该模型采用优化的协同过滤算法挖掘读者信息需求并产生个性化图书推荐信息,并通过实验证明该方法的有效性和实用性。     

分布式环境下的文本聚类研究与实现

【目的】通过开源工具,构建一种分布式环境下的文本聚类与分类应用平台。【方法】以海量文本的词收敛性为基础,通过词聚类指导文本聚类和分类。过程包括:使用开源分词器等工具进行训练集的文本预处理,结合Mahout数据挖掘平台对处理后的词集进行聚类分析,最后通过相似度算法计算测试文本与词类簇的相似度并分类。【结果】分布式环境下的基于词聚类的文本聚类分类计算方法,可有效解决海量文本的词聚类瓶颈问题。经测试,当训练文本集增加到100,迭代收敛阈值为0.01时,词聚类结果较理想。【局限】测试数据规模有限,仅限于新闻数据,基于其他领域的词聚类效果需要进一步测试、优化、调整。【结论】详细描述基于词聚类的文本聚类分类算法的开发环境构架和关键步骤,有助于研究者对相关开源工具使用及分布式并行环境部署的深入理解。     

算法偏见背后的数据选择、信息过滤与协同治理

算法驱动的人类智能系统与人工智能系统交互中,数据选择与信息过滤是不容忽视的关键环节,一方面与算法运行的不透明性有关,另一方面也受到人机协同的信息过滤影响。算法偏见已经造成了现实生活中信息圈层之间的分化,并可能延续甚至加剧社会发展多个方面的失衡。因此,有必要审慎地看待算法偏见的影响要素,透视技术本身及其应用过程中的潜在风险和问题,从而为应对人工智能嵌入社会系统过程中所带来的阶段性偏见提供思路。     

基于项目分类预测的协同过滤推荐算法

在电子商务系统中,为了帮助用户有效地发现、过滤和利用信息,信息过滤技术应运而生.协同过滤技术作为其中的一种技术被成功地应用于推荐系统中.随着电子商务用户数目和商品数目的日益增加,整个项目空间上用户评分数据极端稀疏,传统的相似性度量方法均存在各自的弊端,导致推荐系统的推荐质量急剧下降.针对这一不足,提出基于项目分类预测的协同过滤算法,通过对用户评分矩阵中的项目进行相应的分类,缩小邻近搜索的范围,预测项目评分,减少稀疏性,并采用新的相似度计算方法.实验结果表明,该算法能提高个性化推荐算法的准确性.     

云计算环境下大规模数据处理的研究与初步实现

将云计算技术引入到大规模数据处理过程中,提出在集中或分布管理的大量廉价计算机集群上构建动态的、可扩展的、高性价比的、易使用的高性能计算平台,创建一种基于云计算的大规模数据处理的框架模型。论述在这一环境下的大规模数据处理的方法和应用,通过搭建相应的计算平台,验证计算机集群及框架模型的可行性。     

融合社会网络的协同过滤推荐算法研究

针对传统协同过滤推荐算法的数据稀疏性及恶意行为等问题,提出一种新的基于社会网络的协同过滤推荐算法。该算法借助社会网络信息,结合用户信任和用户兴趣,寻找目标用户最近邻居,并以此作为权重,形成项目推荐,以提高推荐的准确度。实验表明,相对于传统的协同过滤算法,该算法可有效缓解稀疏性及恶意行为带来的问题,显著提高推荐系统的推荐质量。     

基于矩阵划分和兴趣方差的协同过滤算法

数据稀疏性是协同过滤系统面临的一个巨大挑战。本文提出了一种新的推荐算法———基于矩阵划分和兴趣方差的协同过滤算法。该算法采用矩阵分块的思想来缩小最近邻搜索的范围。矩阵分块时,采用聚类的方法,大大降低了矩阵的维度和稀疏等级。同时引入兴趣方差的概念,提高了计算最近邻的准确度。实验证明,本文提出的过滤算法在预测精度上较传统的推荐算法有很大的提高。     

一种基于加权关联规则的协同推荐算法

协同过滤技术不需要分析待推荐资源的内容信息,在电影、音乐、图书等非结构化数据占主流的电子商务推荐领域得到了广泛的应用,成为电子商务推荐领域的主流技术.针对基于项目的协同过滤算法不能实现"跨类型"推荐的缺点,本文提出了一种新的基于关联性评分预测的协同过滤算法IAPCF.区别于传统的算法,IAPCF算法根据项目之间的关联规则,而不是根据多用户对项目评分形成的向量间的相似度来寻找项目的最近邻居集合.该算法能较好地实现"跨类型"项目的推荐.实验结果表明,IAPCF算法具有更好的推荐精度.     

基于用户群体影响的协同过滤推荐算法

协同过滤是推荐系统中广泛使用的推荐技术,对推荐结果可解释强.基于用户的协同过滤是一种重要的系统推荐方法,用户评分数据的极端稀疏性制约着系统的推荐质量.针对上述情况,提出一种基于用户群体影响的协同过滤推荐算法.首先,定义了用户群体的概念并根据群体影响提出两条相应准则;然后,计算用户相似性时,不仅考虑了用户个体之间的相似性,而且考虑了用户所处群体之间的相似性.该算法不仅可以更加精确地刻画用户之间相似度,而且一定程度上增强了推荐系统的稳定性.实验结果表明,该算法能有效地提高系统的推荐质量,而且满足所提出的两条准则.     

基于项类偏好的协同过滤推荐算法

协同过滤是推荐系统中广泛使用的最成功的推荐技术,但是随着系统中用户数目和商品数目的不断增加,整个商品空间上的用户评分数据极端稀疏,传统协同过滤算法的最近邻搜寻方式存在很大不足,导致推荐质量急剧下降。针对这一问题,本文提出了一种基于项类偏好的协同过滤推荐算法。首先为目标用户找出一组项类偏好一致的候选邻居,候选邻居与目标用户兴趣相近,共同评分较多,在候选邻居中搜寻最近邻,可以排除共同评分较少用户的干扰,从整体上提高最近邻搜寻的准确性。实验结果表明,该算法能有效提高推荐质量。     

基于相似项目与用户评分的协同推荐算法

推荐系统是电子商务系统中最重要的技术之一.随着电子商务系统用户数目和商品数目日益增加,在整个商品空间上用户评分数据极端稀疏,传统的相似性度量方法均存在各自的弊端,导致推荐系统的推荐质量急剧下降.针对用户评分数据极端稀疏情况下传统相似性度量方法的不足,本文提出了一种基于相似项目与用户评分预测的协同过滤推荐算法,综合利用相似项目和相似用户评分信息预测用户对未评分项目的评分.通过聚类算法形成用户候选近邻集,减小了算法搜索空间,降低了最近邻用户的搜索时间,从而增强了算法的扩展性.实验结果表明,本算法可以有效解决用户评分数据极端稀疏情况下传统协同推荐算法存在的问题,显著提高推荐系统的推荐质量.     

基于最近邻评价矩阵的混合协同过滤推荐算法

协同过滤技术是推荐系统中核心技术之一,数据的稀疏性和用户的多兴趣性困扰着协同过滤推荐质量的提高.将用户相似性和项目相似性结合起来,对原始评价矩阵进行降维处理,得到对目标评价预测影响最大、数据规模非常小的最近邻评价矩阵,在该矩阵上依照项目近邻程度不同对目标评价预测贡献不同的方法,对用户的邻居进行加权精选,对目标评价实现交错预测.实验结果验证该算法能达到较高的推荐精度.