基于豆瓣网电影数据的分析与可视化

摘要

随着我国互联网行业和数字电影行业的不断飞速发展，两者之间的合作联系越来越紧密。还陆续出现了许多基于互联网上的视频播放网站。用户想要在这些视频播放网站上找到自己喜欢的电影是一件很不容易的事，为了给用户的选择提供一个有用的参考，在庞大的网络电影库中快速找到自己真正喜欢的网络电影，本次课题从电影信息和短评信息两方面入手设计了豆瓣电影数据可视化系统。为了更好地对国内电影网站数据进行分析，本课题首先利用Python+Scrapy建立一套爬虫系统，收集豆瓣网的相关数据，通过Mysql数据库把获取到的电影名、电影导演、电影评分、电影类型、评论用户等数据进行持久化，为整个可视化系统提供了广泛而可靠的数据支持。最后使用Python提供的第三方库Matplotlib、Pands和Excel数据可视化工具进行数据清洗和以图形的形式直观地展示数据结果，并多角度分析电影的发展，得出相关结论。

关键词：Scrapy；Python；第三方库；数据可视化；电影

目录

1绪论1

1.1研究背景和意义1

1.2国内外研究现状2

1.3系统主要内容及论文结构安排3

1.3.1系统主要内容3

1.3.2论文结构安排4

2相关技术与开发环境5

2.1相关技术简介5

2.1.1 Python简介5

2.1.2 XPath简介5

2.1.3 Scrapy框架简介5

2.1.4Matplotlib简介6

2.1.5 Pandas简介6

2.2开发环境7

2.2.1 PyCharm简介7

2.2.2 Mysql简介7

2.3本章小结7

3可行性与需求分析8

3.1可行性分析8

3.1.1技术可行性8

3.1.2经济可行性8

3.1.3操作可行性8

3.2需求分析9

3.2.1系统功能需求分析9

3.2.2各功能用例分析9

3.2.3可视化功能性分析11

3.2.4可视化非功能性分析12

3.3本章小结12

4数据可视化总体设计13

4.1数据可视化架构设计13

4.2系统功能模块设计13

4.2.1数据采集功能模块设计14

4.2.2数据可视化功能模块设计16

4.3时序图设计17

4.4系统数据库设计18

4.4.1数据库概念结构设计18

4.4.2数据库逻辑结构设计18

4.5本章小结19

5数据可视化系统实现21

5.1数据采集功能实现21

5.2数据可视化功能实现23

5.3本章小结24

6数据可视化结果展示25

6.1关键词分析观众看点25

6.2从豆瓣评分趋势的角度分析最近热门中国大陆作品质量26

6.3从不同类型的电影数量角度分析观众喜欢的电影类型26

6.4电影评价人数27

6.5本章小结27

7系统测试28

7.1系统测试方案设计28

7.2系统测试用例28

7.2.1数据采集测试28

7.2.2评价人数和情感分析测试29

7.2.3评分和词云分析测试30

7.3本章小结30

结论31

参考文献32

致谢34