作者 | inspurer |
---|---|
QQ交流群 | 861016679 |
个人博客 | https://inspurer.github.io/ |
2021新版本微博超级爬虫来了
包括三个部分,微博话题爬虫,微博评论爬虫,微博转发爬虫,简介如下
微博话题爬虫可以根据关键词,按照时间段,爬取保存指定微博,出错了重新运行能继续抓取。
微博评论爬虫可以爬取想要的微博的评论,及其评论的回复,可以抓取上万条评论之多。
微博转发爬虫可以爬取微博的转发信息,以及转发微博的转发等,无限递归。
详细信息可以参考系列文章,地址如下:
后续更新,欢迎微信扫描下方二维码或者在微信内搜索 微信公众号:月小水长(ID:inspurer) 进行关注;
最强微博爬虫,用户、话题、评论一网打尽。
运行 GUI.py 即可爬取用户/话题微博
运行 WeiboCommentScrapy.py 并修改里面的微博id (wid) 即可爬取指定微博的所有评论。
单独的 py 文件分别对立一个 功能
WeiboCommentScrapy.py 爬取评论
WeiboTopicScrapy.py 爬取指定关键词的所有微博,突破了 50 页的限制,可指定截至日期时间段搜索(比如 20200101-20200102)
WeiboSuperCommentScrapy.py 可爬取一条微博的所有评论,更为强大