基于python关系网络数据化的实现

摘要

随着现代社会互联网的快速发展，网民不断增多，网络给我们的现代生活带来了很多方便之处，但是，它在发挥对我们有利的用处的同时，也带来了存在着一些不好的地方。例如，网络加速了人们对于一些事件的讨论的传播，容易造成一种舆论倾向。因此，针对热点话题的数据采集和分析可以更好地了解网络热点走向，并加以控制。

本文主要从整个设计的技术要求、系统设计、系统实现展开，围绕数据采集、数据分析及数据可视化这三个方面来进行阐述。本设计利用python语言，通过scrapy框架来抓取数据，数据库采用的是mysql，前端框架采用bootstrap和jquery，后端框架采用flask，可视化是利用的echarts工具，进行前后端交互，分析热度与内容的关系，提取文本信息进行分类，来实现对网络状况的分析。同时，也能够同步观察到数据的实时情况。通过本设计，可以更有效的了解到网络的近况。

关键词：数据分析，Flask，Echarts，Mysql

目录

第一章绪论1

1.1开发背景及意义1

1.2国内外现状与发展趋势1

1.2.1国内外研究现状1

1.2.2发展趋势2

1.3研究的主要内容2

1.4论文的结构3

第二章开发环境与技术4

2.1开发环境4

2.2网络热点数据采集4

2.2.1网络爬虫原理4

2.2.2 scrapy框架结构4

2.2.3网络爬虫技术6

2.2.4数据库7

2.3数据分析7

2.3.1数据清洗7

2.3.2文本分析8

2.3.3热度分析8

2.3.4回归分析8

2.4数据可视化9

2.4.1 Echarts技术10

2.4.2 Flask技术10

第三章系统设计11

3.1系统的需求分析11

3.1.1爬虫模块11

3.1.2数据分析模块11

3.1.3数据可视化模块11

3.2系统的框架设计12

3.3爬虫模块设计12

3.3.1 Scrapy框架设计12

3.3.2实时数据爬虫13

3.4数据库设计14

3.4.1本地MySQL8.0 14

3.4.2腾讯云服务器15

第四章系统功能模块实现15

4.1爬虫模块15

4.1.1 scrapy模块15

4.1.2实时数据模块16

4.2数据库模块18

4.3数据分析模块20

4.3.1文本分析实现20

4.3.2热度统计实现21

4.3.3回归分析实现22

4.3.4实时数据实现23

4.4数据可视化模块25

4.4.1后端模块25

4.4.2前端模块26

第五章结论与展望26

5.1论文总结26

5.2工作展望27

参考文献28

致谢29

附录A:设计所调用的模板及板块30