基于webmagic框架的Java爬虫项目, 爬取知乎用户信息,采用免费代理池,使用Mybatis持久化,ELK可视化数据

• webmagic
• maven
• mybatis
• mysql
• ELK(可以忽略)

• 使用代理池，运行主程序前，先运行爬虫代理，将爬取到的代理保存到代理池,每次从代理池中随机抽取
• 使用多个UserAgent模拟不同浏览器
• 线程休眠随机时间，被封后随机时间重启，模拟人工访问

初次运行请配置 jdbc.properties 和 useragent.txt

先运行代理爬虫，再运行主程序

代理爬虫入口: Pool.java

主程序入口: SpiderStart.java

从一个知乎用户开始，获取其关注列表，再分别爬取关注列表的用户，不断循环下去 主要逻辑类: MyProcessor.java

爬取过程

知乎职业分布

知乎地域分布