基于webmagic框架的Java爬虫项目, 爬取知乎用户信息,采用免费代理池,使用Mybatis持久化,ELK可视化数据
- webmagic
- maven
- mybatis
- mysql
- ELK(可以忽略)
- 使用代理池,运行主程序前,先运行爬虫代理,将爬取到的代理保存到代理池,每次从代理池中随机抽取
- 使用多个UserAgent模拟不同浏览器
- 线程休眠随机时间,被封后随机时间重启,模拟人工访问
初次运行请配置 jdbc.properties 和 useragent.txt
先运行代理爬虫,再运行主程序
代理爬虫入口: Pool.java
主程序入口: SpiderStart.java
从一个知乎用户开始,获取其关注列表,再分别爬取关注列表的用户,不断循环下去 主要逻辑类: MyProcessor.java