基于Spark流式计算的实时电影推荐研究

基于Hadoop平台的实时电影推荐系统在需要大量迭代计算时运行速度明显变慢,无法根据用户行为作出实时反馈。针对以上问题,设计基于Spark流式计算的实时电影推荐系统,可更好地满足用户实时需求。基于Spark流式计算的实时电影推荐系统将传统电影推荐算法与Spark流式计算方法相结合,在线部分使用Spark Streaming实时接收用户模拟评分,并使用Scoket编程模拟用户浏览商品时产生的实时日志数据。日志数据包括用户当前浏览电影、观看电影次数、停留时间与是否购买该商品,再使用Spark Streaming构建实时数据处理系统,计算出当前用户相关度最高的电影并进行推荐。实验结果表明,基于Spark 平台的电影实时推荐系统在离线推荐训练过程中,训练速度相对于Hadoop 平台有明显提高,能根据用户行为作出实时反馈,并向用户进行电影推荐。     

基于spark平台的跨境电商产品混合式协同推荐

跨境电商产品推荐由于受到语言和文化差异等原因,要实现精准推荐仅靠单一方法完全不够。为提高产品的有效推荐,采用混合式协同推荐策略,将隐语义挖掘和特征聚类算法联合应用于混合式系统推荐策略,并借助于Spark平台优化推荐效率。首先,采用隐语义模型(LFM)对用户及商品的隐含特征关注度和重要度进行初始化,并构建用户—商品评分函数;以RMSE为优化函数,通过梯度下降获得LFM用户—商品评分值,根据评分值生成候选商品推荐序列;接着采用K-means算法对用户—商品特征进行聚类分析,并通过鲸群优化算法(WOA)对初始类中心进行优化求解,获得候选商品推荐序列。综合两种策略得到商品推荐系列,生成最终用户推荐商品。仿真结果显示,通过Spark平台的LFM和WOA-K-means的混合式协同推荐,四家跨境电商平台均获得90%以上的商品推荐准确度,对大规模跨境电商产品具有较高的适用性。     

项目相似度与ALS结合的推荐算法研究

协同过滤算法是当今推荐系统普遍使用的一种推荐算法。面对单机模型已逐渐承受不了大数据给推荐系统带来的负荷问题,提出基于Spark平台的一种项目相似度与ALS相结合的协同过滤推荐算法。它基于Spark分布式并行计算框架,可提高预测计算效率,减少系统响应时间。同时使用“基于项目相似度的协同过滤”与“交替最小二乘的协同过滤（ALS）”相结合的一种混合推荐方法,可提高系统推荐精度。通过在MovieLens数据集上的实验结果表明,该算法在算法融合与推荐精度上有着很好的效果。     

基于Spark的Slope One算法优化与实现

传统Slope One算法未考虑用户相似性和项目相似性对评分效果的影响,从而导致推荐准确率不高,并且在当前大数据背景下,传统Slope One算法运行效率低下。针对以上问题,提出一种基于Spark的改进加权Slope One算法,该算法融入了相似性计算、活跃用户筛选和用户聚类等技术,并在Spark平台上实现了并行化。通过在MovieLens数据集上进行试验验证,并比较算法在Spark和Hadoop平台并行化的运行效率,证实了该算法可以有效降低MAE,且在Spark平台下运行效率更高,更适用于大数据处理场景。     

基于Spark的电商网站用户行为分析预测系统研究

以Spark软件为工具,对电商网站用户行为分析预测系统进行探讨,在此基础上,对一家电商平台进行了一系列的预处理,包括在一定的时间段内,对用户的行为进行处理,提出时间序列规则处理原始数据动态滑动窗口。用户行为分析实验表明,XGBoost的训练模式表现最好,而决策树的学习效果最差。XGBoost模型无需对全部的训练进行集合,是通过XGBoost在每一个滑行窗口内使用XGBoost来输出最后的预测。XGBoost在预测结果正确率、稳定性方面均较好。Spark平台主要由数据读入、RDD的创建、用户行为预测计算三部分构。相比Hadoop平台,基于Spark平台系统效率提高了近8倍,系统运行速度降低幅度较大,减少了电商网站运营成本,Spark平台系统可靠性较高。     

基于用户模糊聚类的个性化推荐研究

推荐系统是根据用户的历史浏览记录或对项目的评分记录,自动为用户推送需要的信息,完成个性化推荐功能,是信息获取领域非常重要的技术。首先对用户进行模糊C均值聚类操作,将用户分为用户簇。将加权的欧氏距离替换传统的欧氏距离计算方法,在目标用户所在的用户簇内进行协同过滤推荐,得到Top-n推荐集,为用户完成项目推荐。实验结果表明,该方法可以提高推荐精度,减少评分误差,提高推荐质量,优化推荐效果。     

基于网络结构的推荐算法

为了弥补基于网络结构的推荐算法存在的新用户和新产品问题,提出了一种考虑项目特征属性的项目网络结构图的推荐算法,根据项目的特征属性矩阵得到任何两个项目的相似性,然后采用一种考虑项目相似性的资源配额度量方法计算目标用户的最终资源分配向量,将目标用户没选择过的排序靠前的项目进行推荐。该算法可以有效解决新项目的冷启动问题,提高系统推荐质量。     

一种新的协同过滤推荐算法

协同过滤推荐系统在处理交互性强、需要知识背景的电子商务网站推荐领域,显得力不从心。双信息源模式的协同过滤算法(DISCF)推荐系统通过对稀疏数据集的处理,找到活动用户的相似用户(最近邻居集)和具有知识背景专家集合,结合两个推荐组的建议,形成可靠的信息源,分析各自影响活动用户对目标项目的权重,计算活动用户的最终兴趣度,实现系统推荐。     

基于协同过滤算法的电影个性化推荐系统设计与实现

随着互联网与移动终端的普及,网络上的电影娱乐信息数量海量增加,用户对电影个性化服务的需求日益旺盛。设计电影个性化推荐系统,该系统基于B/S模式,采用JavaEE体系架构。个性化电影推荐服务能够挖掘用户信息、电影项目信息间隐藏的关联性,从而发现用户的潜在兴趣,将用户可能感兴趣的影视片推荐给用户。     

融合用户相似度与信任度的协同过滤推荐算法

传统的协同过滤算法难以解决“稀疏性”和“冷启动”等问题。鉴于此,提出一种融合用户相似度和信任度的方法。首先根据用户对共同项目的评分创建初始信任度,通过信任关系的传递规则,建立没有直接信任关系的用户之间的信任关系,然后融合用户相似度与信任度,用于传统的协同过滤推荐系统,找出用户的最近邻居集,进行项目的评分预测,从而产生推荐列表。实验表明,改进后的算法能有效提高系统推荐的准确性。     

融合信任度和热门惩罚的协同过滤推荐算法

随着互联网信息的发展,网络数据量大幅增长,极大提高了用户的有效信息筛选难度。推荐系统根据用户的历史行为和偏好信息而产生相应的推荐,协同过滤算法是推荐系统中的一种常用算法。传统的协同过滤算法仅使用相似度作为推荐依据时,仍然面临推荐精确率不高问题,本文在相似度基础上添加用户之间的信任度,对用户之间不对等的信任关系建模,再添加对热门项目的惩罚机制,从而弱化热门项目的推荐。通过对MovieLens数据集的实验结果进行验证可知,融合信任度的协同过滤算法的精确率、覆盖率和F1值均比传统的基于用户的协同过滤算法性能有所提高。     

基于知识的推荐系统用户交互模型研究

在基于知识的推荐系统中,用户的个性化需求需要通过交互引导得出。为了提高用户的交互体验,建立了基于有限状态机(FSM)的用户交互模型。根据所推荐物品的特征建立用户交互行为的有限状态机模型,通过求解有限状态机模型的有效路径,生成用户的个性化需求和偏好。该模型通过会话式的交互方式,根据用户的个体特征,提供有效交互,减少了用户交互负担,提高了推荐结果的信任度、满意度。     

基于改进协同过滤算法的个性化美食推荐APP开发

为了改善基于个人喜好或营养成分等单一特征的传统协同过滤算法推荐效果不好、缺乏实时性及使用不方便等问题,将中医体质、地方口味、营养成分等多种特征相结合,利用基于Spark Streaming的协同过滤算法,设计一款基于 Android 平台的智能饮食推荐APP。实验结果表明,改进协同过滤算法能够大幅改善推荐效果,该APP不仅可为用户推荐符合身体健康需要,且合乎口味的饮食,而且能够较好地满足用户对实时性与便捷性的要求。     

基于Spark Streaming的增量协同过滤算法

针对协同过滤算法处理大数据流时响应慢的缺陷,在改善推荐准确度的情况下,提出增量更新算法以加快响应速度,提高推荐系统性能。介绍了当前协同过滤算法以及KNN和Spark的相关知识,阐述了协同过滤算法的增量模型。采用Group Lens网站提供的Movie Lens数据集作为实验数据,应用Socket模拟流和Spark并行计算技术实现增量模型。实验结果显示,在保证推荐准确度的前提下,响应时间明显缩短,说明增量模型适合实时处理大数据流,可缓解数据处理不及时问题。     

一种基于动态权值的改进协同过滤算法研究

协同过滤是个性化推荐系统中使用最为广泛的一种推荐算法之一,分为基于用户和基于项目两种协同过滤算法.本文提出的改进算法将两种方法相结合使用,首先改进了传统的相似度度量方法,再分别利用用户和项目之间的相似度值预测未评分项目值,并将两种预测结果加权平均,根据用户近邻数和项目近邻数动态确定加权系数.实验结果表明,改进后的协同过滤算法可以提高推荐质量.     

一种改进的协同过滤推荐算法

协同过滤算法在互联网飞速发展的今天得到了广泛应用。由于数据量的膨胀式发展,传统推荐系统的推荐效率受到前所未有的挑战。提出一种改进的协同过滤推荐算法,对数据库数据先进行聚类操作,将用户对项目的平均评分和项目被评价过的次数作为二位网格的维,再根据项目相似性,运用CLIQUE网格聚类算法进行基于项目的聚类。应用协同过滤推荐算法在对应的聚类簇中找到推荐项目。实验证明,该方法能明显提高推荐系统的推荐效率。     

推荐系统研究综述

推荐系统已经成为用户和网络应用软件交互的一个重要部分,特别是推动了电子商务的发展。商家已经意识到为了增加销售额和防止客户流失需要开发出具有个性化和可适应的推荐系统。同样,网络上的用户依靠这样的推荐系统在巨大的信息空间中可更有效地找到自己感兴趣的项目。提供了推荐问题的简洁描述,并概述了产生推荐的各种方法及发展趋势。     

基于协同过滤的个性化推荐算法研究与实践

本设计是在研究协同过滤算法的基础上设计实现一个网上书店系统.该系统实现基于用户的协同过滤算法和基于项目评分预测的协同过滤算法,并且能够为用户展示个性化推荐的结果.     

基于用户特征和商品特征的组合协同过滤算法

协同过滤算法在电子商务网站推荐系统中的应用非常广泛,其通过分析大量用户的历史行为数据,挖掘用户的兴趣,向用户推荐合适的物品。然而,协同过滤算法存在数据稀疏性问题。针对该问题,提出一种基于用户特征和商品特征的组合协同过滤推荐算法。通过用户基本属性特征、物品分类属性特征以及用户的历史评分记录,计算用户的相似性和物品的相似性,获得近邻用户和相似物品;依据改进的基于物品协同过滤和基于用户协同过滤组合推荐算法,为项目进行评分。实验表明,该方法能降低预测结果的平均绝对误差,提高推荐精度。     

结合用户特征和兴趣变化的组推荐系统算法研究

组推荐系统能够为多个用户组成的群组提供推荐服务。提出了结合用户特征和用户兴趣变化的组推荐系统算法。根据用户特征使用聚类算法进行群组发现,提出了一种结合用户兴趣变化的协同过滤算法,并使用该算法对群组内的用户评分进行预测;采用评分融合方法以及痛苦避免均值融合策略将群组内各用户的偏好进行融合,得出群组预测评分,从而为群组推荐结果。实验结果表明,该算法能有效提高组推荐系统准确度。