直播网站LiveTV Mining，爬虫抓取数据 python3+scrapy

LiveTV Mining

---

介绍

项目实现爬虫、数据挖掘/分析等功能。目前主要是扫描直播站点收集数据，后续会开发相关数据分析模块。

架构采用前后端分离，通过RESTFul API通信。前端Vue+Webpack，后端Flask。

文件结构分为三部分，每个部分可以单独提供服务：

• frontend 前端代码，使用Vue+Webpack开发管理。
• server 后端RESTFul服务，使用Flask搭建提供API。
• crawler 爬虫服务，使用框架scrapy对直播站点爬取数据。

使用中有问题或更新建议，欢迎提issue或用以下联系方式跟我交流：

• 邮件: zwtzjd@gmail.com
• QQ: 3084582097

历程

• 2017-05-10 开发新爬虫火猫。
• 2017-04-24 全民收集开发完成。
• 2017-04-22 熊猫收集开发完成。
• 2017-04-20 斗鱼收集开发完成。
• 2017-04-15 准备开发收集站点房间：关注数、公告、上一次开播时间、打赏值、开播当天人气中位数。
• 2017-04-01 变更LICENSE：GPL -> Apache。
• 2017-03-20 开发新爬虫全民。
• 2017-03-03 开发新爬虫龙珠。
• 2017-03-01 恢复爬虫熊猫、战旗。
• 2017-01-07 完成全部功能迁移，前后端分离完成。
• 2016-12-24 引入vuex进行state和权限管理