2024-06-07 11:44:58 发布
网友
不知道如何描述这一点,但我正在数字海洋服务器(5美元服务器)上运行一个Scrapy spider,Scrapy项目被部署为一个Dokku应用程序。在
但是,它的运行速度非常慢,与我的本地计算机和一个Heroku免费层dyno上的速度相比。在Dokku上它以每分钟30页的速度爬行,而在Heroku上,它的速度是每分钟200多页。在
我不知道如何调试、分析或从何处着手来解决问题。关于如何解决这个问题有什么帮助、线索或提示吗?在
我通过不使用数字海洋服务器解决了这个问题。我正在尝试爬网的网站craigslist.org网站,只是对DO服务器的响应不好。回复请求需要很长时间。像谷歌或亚马逊这样的其他网站也能很好地使用DO。在
我的铲运机在craigslist上使用其他提供商的VPS时工作正常。在
我通过不使用数字海洋服务器解决了这个问题。我正在尝试爬网的网站craigslist.org网站,只是对DO服务器的响应不好。回复请求需要很长时间。像谷歌或亚马逊这样的其他网站也能很好地使用DO。在
我的铲运机在craigslist上使用其他提供商的VPS时工作正常。在
相关问题 更多 >
编程相关推荐