基于Spark Streaming的增量协同过滤算法

针对协同过滤算法处理大数据流时响应慢的缺陷，在改善推荐准确度的情况下，提出增量更新算法以加快响应速度，提高推荐系统性能。介绍了当前协同过滤算法以及KNN和Spark的相关知识，阐述了协同过滤算法的增量模型。采用Group Lens网站提供的Movie Lens数据集作为实验数据，应用Socket模拟流和Spark并行计算技术实现增量模型。实验结果显示，在保证推荐准确度的前提下，响应时间明显缩短，说明增量模型适合实时处理大数据流，可缓解数据处理不及时问题。