我的项目文件夹中有多个蜘蛛,希望同时运行所有蜘蛛,所以我决定使用scrapyd服务运行它们。 我是从看到here开始这样做的
首先,我在当前项目文件夹中
我打开了scrapy.cfg
文件,并在
[部署]
我运行了scrapy server
命令,运行良好,scrapyd服务器运行
我试过这个命令scrapy deploy -l
结果:default http://localhost:6800/
scrapy deploy -L scrapyd
时,得到了以下输出结果:
Usage
=====
scrapy deploy [options] [ [target] | -l | -L <target> ]
deploy: error: Unknown target: scrapyd
当我试图用这个命令部署项目时,scrapy deploy scrapyd -p default
出现以下错误
Usage
=====
scrapy deploy [options] [ [target] | -l | -L <target> ]
deploy: error: Unknown target: scrapyd
我真的不知道是不是斯皮里德在显示上面的错误,可以引导我找到一个正确的方法来部署一个项目到斯皮里德
提前谢谢。。。。。。。。。。
编辑的代码:
在看到Peter Kirby的答案后,我在scrapy.cfg中命名了target,并在我的项目文件夹中尝试了以下命令
命令:
scrapy deploy ebsite -p ebsite
然后我得到了下面的错误
Building egg of ebsite-1341808241
'build/lib' does not exist -- can't clean it
'build/bdist.linux-x86_64' does not exist -- can't clean it
'build/scripts-2.7' does not exist -- can't clean it
zip_safe flag not set; analyzing archive contents...
Deploying ebsite-1341808241 to http://localhost:6800/addversion.json
Deploy failed: <urlopen error [Errno 111] Connection refused>
如何解决这个。。。。。
这是一个没有权限的程序! 您需要终止进程,然后使用根用户,只需键入:
然后新的scrapyd将运行。然后您可以按scrapyd documention所说的做。
来自scrapyd服务文档:(http://scrapy.readthedocs.org/en/latest/topics/scrapyd.html?突出显示=scrapyd)
从本质上说,您的错误意味着您的“目标”名称不正确。如果我没记错,scrapy.cfg文件将初始目标名称设置为“default”。您应该键入的内容如下:
如果没有指定的目标并且默认情况下没有设置,只需键入
scrapy deploy
!相关问题 更多 >
编程相关推荐