Skip to content

Latest commit

 

History

History

SohuNewCrawler

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

搜狐及时新闻采集——适合机器学习样本采集使用

爬取方式

结构设计

多线程生产者消费者

使用框架

tk界面编程

演示:

运行方式

运行环境win、python35、mongodb

  1. 开启mongodb数据库
mongod.exe --dbpath=path
  1. 安装依赖
pip install -r requirements.txt
  1. python35
python TK_News.py

先确保数据库ok,然后点击采集,导出数据确保路径正确

更新功能