请求使用高可用性洋葱路由器。最肮脏的网络爬虫没有时间限制。
requests-whaor的Python项目详细描述
请求什么[ri-kwestshawr]
请求WithHighA可用性OnionR外部。对于那些没有时间限制速度的最肮脏的网络爬虫。在
概述
requests通过Docker本地TOR电路网络获得请求。它负责启动和停止位于HAproxy负载平衡器后面的TOR代理池，该代理充当循环反向代理网络。这将给每个请求一个新的IP地址。如果初始IP池出现问题，requests whor可以通过重新启动所有TOR来收集新的IP地址池。在
用pip安装
pip install requests-whaor
使用Poetry安装
^{pr2}$>> Quickstart / Docs <<
突出显示的项目
有用的Docker命令
如果事情失控，您可能需要这些命令来调试或终止容器。
docker ps -q --filter ancestor=osminogin/tor-simple | xargs -L 1 docker logs --follow
docker ps -q --filter ancestor=osminogin/haproxy | xargs -L 1 docker logs --follow
docker stop $(docker ps -q --filter ancestor=osminogin/tor-simple)
docker stop $(docker ps -q --filter ancestor=haproxy)
docker network rm $(docker network ls -q -f name=whaornet)
托多
- []测试。在
- []如有要求，可提供更多的请求方法。在
- []使用不同Tor容器的选项。在
- []不同负载平衡器容器的选项。在
联系方式
电报=Twitter=Tradingview=不和谐=@dgnsrekt
电子邮件=dgnsrekt@pm.me
- 项目
标签：
欢迎加入QQ群-->： 979659372
