## 请您Star/Please Star 如果您觉得此工具不错，请轻轻点击此页面右上角**Star**按钮增加项目曝光度，谢谢！软件完全免费（商用除外），只求大家Star和宣传给其他需要的朋友，谢谢！ If you think this tool is good, please gently click the **Star** button in the upper right corner at this page to increase the project exposure, thank you! The software is completely free (except for commercial use), only ask everyone to Star and promote it to other friends in need, thank you! ## 官方网站/Official Website 访问易采集官网：www.easyspider.cn Visit the official website of EasySpider: www.easyspider.net # 易采集/EasySpider: Visual Code-Free Web Crawler 一个可视化爬虫软件，可以使用图形化界面，无代码可视化的设计和执行爬虫任务。只需要在网页上选择自己想要爬的内容并根据提示框操作即可完成爬虫设计和执行。同时软件还可以单独以命令行的方式进行执行，从而可以很方便的嵌入到其他系统中。 A visual code-free/no-code web crawler/spider, just select the content you want to crawl on the web page and operate according to the prompt box to complete the design and execution of the crawler. At the same time, the software can be executed by command line alone, so it can be easily embedded into other systems. ![animation_zh](media/animation_zh.gif) ![animation_en](media/animation_en.gif) ## 下载易采集/Download EasySpider 进入 [Releases Page](https://github.com/NaiboWang/EasySpider/releases) 下载最新版本。如果下载速度慢，可以考虑中国境内下载地址：[中国境内下载地址](https://github.com/NaiboWang/EasySpider/releases/download/v0.3.2/Download_Link_Address_in_China_Mainland.txt)。 加QQ群从群文件下载是国内下载最快的方式，但使用软件的过程中发生了问题求助还是请从GitHub提issue，因为群主不怎么看群，群号：**682921940**。 Refer to the [Releases Page](https://github.com/NaiboWang/EasySpider/releases) to download the latest version of EasySpider. ## 文档/Documentation 请点此进入[教程文档](https://github.com/NaiboWang/EasySpider/wiki)，如有英文可暂时翻译一下，或看作者的[硕士毕业论文](Docs/%E9%9D%A2%E5%90%91WEB%E5%BA%94%E7%94%A8%E7%9A%84%E6%99%BA%E8%83%BD%E5%8C%96%E6%9C%8D%E5%8A%A1%E5%B0%81%E8%A3%85%E7%B3%BB%E7%BB%9F%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0.pdf)（主要看第三章和第五章）。 Ebay样例博客：https://blog.csdn.net/ihero/article/details/130805504 Documentation can be found from [GitHub Wiki](https://github.com/NaiboWang/EasySpider/wiki). ## 视频教程/Video Tutorials Bilibili/B站视频教程: [EasySpider介绍 - 中国地震台网采集案例](https://www.bilibili.com/video/BV1Fk4y1L7xX/) [如何无代码可视化的爬取需要登录才能爬的网站 - 知乎网站案例](https://www.bilibili.com/video/BV1HV4y1r7v8) [实战采集汽车网文章内容并下载文章内图片](https://www.bilibili.com/video/BV1RW4y197ih/) [【重要】自定义条件判断之使用循环项内的JS命令返回值 - 第二弹](https://www.bilibili.com/video/BV1mu411x7Nn/) [流程图执行逻辑解析 - 58同城房源描述采集案例](https://www.bilibili.com/video/BV1YL411z7uW) [MacOS系统设计和执行eBay网站爬虫任务教程](https://www.bilibili.com/video/BV1WL411h71r) [如何执行自己写的JS代码和系统代码 （自定义操作）](https://www.bilibili.com/video/BV1qs4y1z7Hc/) [如何自定义循环和判断条件 - 第一弹](https://www.bilibili.com/video/BV1Ys4y1z777/) [如何对元素和网页截图及命令行执行指南](https://www.bilibili.com/video/BV1dV4y1z764/) [OCR识别元素内容功能](https://www.bilibili.com/video/BV1xz4y1b72D/) [如何爬需要输入验证码的网站](https://www.bilibili.com/video/BV18c411K7FH) [如何切换IP池和使用隧道IP - 打开详情页采集案例](https://www.bilibili.com/video/BV1KT411t79n) [如何同时执行多个任务（并行多开）](https://www.bilibili.com/video/BV13c411G7LE/) Refer to [Youtube Playlist](https://youtube.com/playlist?list=PL0kEFEkWrT7mt9MUlEBV2DTo1QsaanUTp) to see the video tutorials of EasySpider. ## 样例任务/Sample Tasks 从本项目的[Examples](Examples)文件夹中下载样例任务，更名为大于0的数字，导入到EasySpider中的`tasks`文件夹中，然后在EasySpider中打开即可。 Download sample tasks from the [Examples](Examples) folder of this project, rename them to numbers greater than 0, import them into the `tasks` folder in EasySpider, and then open them in EasySpider. ## 声明/Declaration 本软件仅供学习交流使用，**严禁使用软件进行任何违法违规的操作，如爬取不允许爬取的政府/军事机关网站等**。使用本软件所造成的**一切后果由使用者自负**，与作者本人无关，**作者不会承担任何责任**。 This software is for learning and communication only. **It is strictly forbidden to use the software for any illegal operations, such as crawling government/military websites that are not allowed to be crawled.** All consequences caused by the use of this software are **at the user's own risk, and the author is not responsible for any consequences**. 对于政府和军事机关等网站的爬虫操作，**作者将不会进行任何答疑**，以免违反国家相关法律法规和政策。 For the crawler operations of government and military websites, **the author will not answer any questions** in order to avoid violating relevant national laws, regulations and policies. 同时，软件受到专利权保护，如要用于商业用途，请联系[杭州天勤知识产权代理有限公司](http://www.tqip.com/)进行专利授权等付费操作。 At the same time, the software is protected by patent rights. If you want to use it for commercial purposes, please contact [Hangzhou Tianqin Intellectual Property Agency](http://www.tqip.com/) for patent authorization and other paid operations. ## 出版物/Publications - This software has been accepted by The Web Conference (WWW) 2023 (中国计算机学会顶级会议，CCF A): [EasySpider: A No-Code Visual System for Crawling the Web](https://dl.acm.org/doi/abs/10.1145/3543873.3587345), April 2023. - 中国国家知识产权局发明专利，[一种自定义提取流程的服务封装系统](https://www.patentguru.com/cn/search?q=%E4%B8%80%E7%A7%8D%E8%87%AA%E5%AE%9A%E4%B9%89%E6%8F%90%E5%8F%96%E6%B5%81%E7%A8%8B%E7%9A%84%E6%9C%8D%E5%8A%A1%E5%B0%81%E8%A3%85%E7%B3%BB%E7%BB%9F)， 2022年5月。 - [浙江大学硕士论文](https://d.wanfangdata.com.cn/thesis/Y3691829)，[面向WEB应用的智能化服务封装系统设计与实现](Docs/%E9%9D%A2%E5%90%91WEB%E5%BA%94%E7%94%A8%E7%9A%84%E6%99%BA%E8%83%BD%E5%8C%96%E6%9C%8D%E5%8A%A1%E5%B0%81%E8%A3%85%E7%B3%BB%E7%BB%9F%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0.pdf)，2020年6月。 ## 中文界面截图 #### 软件界面示例 ![pic](media/Picture.png) #### 块和子块及表单定义 ![pic](media/Picture2.png) #### 已选中和待选择示例 ![pic](media/Picture7.png) #### 京东商品块选择示例： ![pic](media/Picture1.png) #### 京东商品标题自动匹配选择示例 ![pic](media/Picture5.png) #### 分块选择所有子元素示例 ![pic](media/Picture6.png) #### 同类型元素自动和手动匹配示例 ![pic](media/Picture8.png) #### 四种选择方式示例 ![pic](media/Picture90.png) #### 输入文字示例 ![pic](media/Picture10.png) #### 循环点击58同城房屋标题以进入详情页采集示例 ![pic](media/Picture12.png) #### 采集元素文本示例 ![pic](media/Picture14.png) #### 流程图界面介绍 ![pic](media/Picture4.png) #### 循环选项示例 ![pic](media/Picture9.png) #### 循环点击下一页示例 ![pic](media/Picture11.png) #### 条件分支示例 ![pic](media/Picture13.png) #### 完整采集流程图示例 ![pic](media/Picture16.png) #### 完整采集流程图转换为常规流程图示例 ![pic](media/Picture91.png) #### 服务信息示例 ![pic](media/Picture15.png) #### 服务调用示例 ![pic](media/Picture17.png) #### 58 同城房源信息采集服务部分采集结果展示 ![pic](media/Picture18.png)