Python中文网 - 问答频道, 解决您学习工作中的Python难题和Bug
Python常见问题
我需要帮助找到我的基于scrapy/python的scraper的瓶颈。你知道吗
我们正在从亚马逊（意大利目前）刮产品，但我们正在努力与整体要求吞吐量。 我们正在使用反向连接旋转代理：StormProxies（50个线程计划）+Proxyrotator（100个线程）+TOR，但即使是250多个可用线程，我们每秒只能刮取1/2个URL。。。 我们在OVH专用服务器、8核x16gbram、redis芹菜和docker上运行它作为附加工具
我是一名IT技术人员，软件是由我的印度开发人员开发的，如果你需要更多的信息或代码，请尽管问！你知道吗
提前谢谢
Tags： url代理产品scraper线程吞吐量计划tor
热门问题
- 是什么导致导入库时出现这种延迟？
- 是什么导致导入时提交大内存
- 是什么导致导入错误：“没有名为modules的模块”？
- 是什么导致局部变量引用错误？
- 是什么导致循环中的属性错误以及如何解决此问题
- 是什么导致我使用kivy的代码内存泄漏？
- 是什么导致我在python2.7中的代码中出现这种无意的无限循环？
- 是什么导致我的ATLAS工具在尝试构建时失败？
- 是什么导致我的Brainfuck transpiler的输出C文件中出现中止陷阱？
- 是什么导致我的Django文件上载代码内存峰值？
- 是什么导致我的json文件在添加kivy小部件后重置？
- 是什么导致我的python 404检查脚本崩溃/冻结？
- 是什么导致我的Python脚本中出现这种无效语法错误？
- 是什么导致我的while循环持续时间延长到12分钟？
- 是什么导致我的代码膨胀文本文件的大小？
- 是什么导致我的函数中出现“ValueError:cannot convert float NaN to integer”
- 是什么导致我的安跑的时间大大减少了？
- 是什么导致我的延迟触发，除了添加回调、启动反应器和连接端点之外什么都没做？
- 是什么导致我的条件[Python]中出现缩进错误
- 是什么导致我的游戏有非常低的fps
热门文章
- Python覆盖写入文件
- 怎样创建一个 Python 列表？
- Python3 List append()方法使用
- 派森语言
- Python List pop()方法
- Python Django Web典型模块开发实战
- Python input() 函数
- Python3 列表(list) clear()方法
- Python游戏编程入门
- 如何创建一个空的set?
- python如何定义(创建)一个字符串
- Python标准库 [The Python Standard Library by Ex
- Python网络数据爬取及分析从入门到精通（分析篇）
- Python3 for 循环语句
- Python List insert() 方法
- Python 字典(Dictionary) update()方法
- Python编程无师自通 专业程序员的养成
- Python3 List count()方法
- Python 网络爬虫实战 [Web Crawler With Python]
- Python Cookbook（第2版）中文版
目前没有回答
相关问题 更多 >
编程相关推荐