big changes

[searchlyf]

No description provided.

[liguobao]

这里加入了新的代理池吗? 还是咋样的? 我能直接merge这边代码到自己的分支吗?

[liguobao]

这个提交删除了crawler_booter.py, 但是在run.sh中还有调用.
需要调整一下

[liguobao]

合并之后暂时无法直接使用,
Docker构建还会缺sentry_sdk package

[liguobao]

而且, 很麻烦的问题在于, 某个站点的校验现在应该怎么处理呢?

[searchlyf]

没加新的代理池。
crawler_booter.py 改为 run_spiders.py
sentry_sdk 须自己设置
站点的校验只剩下httpbin
改动相当大，merge后会有很多break, 还没写完

[liguobao]

站点校验还能支持吗? 我看之前的配置使用run_spiders.py启动不了啦.
我倒是手动merge了很多代码到自己的分支已经解决了部分冲突.
sentry_sdk 在requirements上加上个版本就完事了, 这个倒没什么问题.

[searchlyf]

原计划是只validate代理能不能接通 通过httpbin 具体网站在下载时实时调整即可 不过我可以把站点校验加回去

…

On Sat, Jul 6, 2019 at 7:47 PM 李国宝 ***@***.***> wrote: 站点校验还能支持吗? 我看之前的配置使用run_spiders.py启动不了啦. 我倒是手动merge了很多代码到自己的分支已经解决了部分冲突. sentry_sdk 在requirements上加上个版本就完事了, 这个倒没什么问题. — You are receiving this because you modified the open/close state. Reply to this email directly, view it on GitHub <#99?email_source=notifications&email_token=AAE2ACGE3M77QUJQCWT3BYLP6FKNVA5CNFSM4H4OFY52YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODZLDS6A#issuecomment-508967288>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AAE2ACEAAXBF44NGNIVRTBLP6FKNVANCNFSM4H4OFY5Q> .

[liguobao]

站点校验应该是需要的, 还有启动方式, 修一下run.sh?

[searchlyf]

searchlyf@e147fa1 添加你的校验