Skip to content
/ Crawler Public

整理本人在2021年10月-12月期间写的一些爬虫demo，比如用于渗透测试中SQL注入的URL收集脚本(爬取必应和百度搜索结果的URL)，子域名爆破demo，各大高校漏洞信息收集爬虫，以及入门爬虫时写的一些基础代码

25 stars 5 forks Branches Tags Activity
Star
Notifications You must be signed in to change notification settings

ggfgh/Crawler

BranchesTags

Repository files navigation

这里有什么？

  • 这些是我在2021年10月-12月学爬虫时写的一些小demo,以及在挖漏洞时写的一些收集信息的爬虫，比如爬取必应搜索结果的URL，各大高校的漏洞信息爬取，子域名暴破。当然，代码都是基本的功能实现。

你可以了解到的技术

  • 如何自动发送HTTP请求获取页面源代码
  • 如何解析网页源代码
  • 无头浏览器技术 -用代码控制浏览器的行为
  • 多线程技术 -实现快速的信息获取
  • 队列 - 数据的存储与获取
  • 异步 - 更高效的利用时间

About

整理本人在2021年10月-12月期间写的一些爬虫demo，比如用于渗透测试中SQL注入的URL收集脚本(爬取必应和百度搜索结果的URL)，子域名爆破demo，各大高校漏洞信息收集爬虫，以及入门爬虫时写的一些基础代码

Topics

python crawler pentest-scripts

Resources

Readme
Activity

Stars

25 stars

Watchers

1 watching

Forks

5 forks
Report repository

Releases

No releases published

Packages

No packages published

Languages