知乎大数据分析与热点生成。
这是我在分析知乎用户数据时候写的爬虫，能爬到知乎用户公开信息以及个人回答。关于爬取分析结果可以看这篇文章：知乎核心用户大数据报告：你知道知乎的男女比例是多少吗？
- 安装Python
- 安装Scrapy
- 配置数据库
- 运行如下命令
scrapy crawl user
该命令可爬取知乎用户信息，想要爬取对应用户的回答，需要运行如下命令。
scrapy crawl activity
Enjoy Crawling ~
本项目只用于研究技术使用，请勿将爬取数据分享到互联网。如因此出现法律以及纠纷问题，后果自负。