pip install scrapy
完成对古诗文网诗词,作者,朝代的爬取 配置中禁用了robots,修改了USER_AGENT 爬取网站:https://www.gushiwen.cn/
1.命令行cmd 进入根目录ShiYiZhonHua_spider 2.运行scrapy crawl ShiYiZhonHua_spider 3.文件储存在gushi.csv中
- 创建一个scrapy爬虫项目 scrapy startproject ShiYiZhonHua
- 进入项目spiders文件夹 输入scrapy genspider Spidername URL
- scrapy.cfg 项目的配置信息,主要为Scrapy命令行工具提供一个基础的配置信息。(真正爬虫相关的配置信息在settings.py文件中)
- items.py 设置数据存储模板,用于结构化数据,如:Django的Model
- pipelines 数据处理行为,如:一般结构化的数据持久化
- settings.py 配置文件
- spiders 爬虫目录
- response中使用XPath、CSS查询十分普遍,因此,Scrapy提供了两个实用的快捷方式: response.xpath() 及 response.css():xpath() 及 .css() 方法返回一个类 SelectorList 的实例, 它是一个新选择器的列表。这个API可以用来快速的提取嵌套数据,需要调用 .extract() 方法
1.在终端中进入存储项目的文件夹,然后使用“scrapy startproject 项目名”创建项目。
2.由终端进入 **最里层** spiders 文件夹内,使用“scrapy genspider 爬虫名字 <网页域名>” 来创建爬虫文件。其中,网页域名尽量不写 协议:http/https。
3.注:爬虫名不能与项目名相同。每爬取一个网站就创建一个爬虫项目。
4.运行爬虫文件:scrapy crawl 爬虫文件名
5.在 scrapy 中,一般的网站都会遵守 robots 协议。在 setting.py 中将 robots协议设置为 False,表示不用遵守。
6.注意 setting.py 中的 UA。