基于Scrapy框架的电影数据爬取和可视化分析

Scrapy框架是Python封装好提供的一个明星框架，可以帮助使用者更加合理，更加高效的获取数据，分析数据，利用数据来产生价值。文章讨论了Scrapy网络爬虫框架的基本工作原理与其优点，论述了Scrapy框架的安装方法，并利用Scrapy框架对1905电影网上的电影数据进行了爬取，得到了801部电影数据，然后将这些数据保存到本地的MySQL数据库中。通过对内地和欧美地区的电影数据进行可视化分析，得出了电影类型（动作、爱情、喜剧、战争、动画、科幻）与评分之间的关系，以及电影上映年份（2011—2021）与评分之间的关系。结果表明：动作、战争、动画三类电影，我国内地平均评分高于欧美地区；在2011—2021年之间的大部分时间段，我国内地的电影平均评分都高于欧美地区。