使用Python的“Scrapy”时出错

Question

我在Python 2.7上安装了最新版本的Scrapy（是的，我还是在用这个版本），但是在运行Scrapy的教程脚本时遇到了一个错误。

我运行的代码是：

from scrapy.spider import BaseSpider

class DmozSpider(BaseSpider):
    name = "dmoz.org"
    allowed_domains = ["dmoz.org"]
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]

    def parse(self, response):
        filename = response.url.split("/")[-2]
        open(filename, 'wb').write(response.body)

错误信息是：

Traceback (most recent call last):
  File "C:/Users/Rainey/Desktop/dmoz/spiders/dmoz_spider.py", line 1, in <module>
    from scrapy.spider import BaseSpider
  File "C:\Python27\lib\site-packages\scrapy\spider.py", line 7, in <module>
    from scrapy import log
  File "C:\Python27\lib\site-packages\scrapy\log.py", line 10, in <module>
    from twisted.python import log
ImportError: No module named twisted.python

这个教程脚本在我的桌面上。这样会有影响吗？我应该把它放在别的地方吗？

Answer 1

你在Windows上没有成功安装scrapy。下面的步骤应该能帮助你在Windows上安装scrapy 0.14（最新版本）。

1. 首先，使用Windows安装程序在这里安装lxml-2.3。我尝试过libxml，但没有成功。
2. 接下来，使用Windows安装程序在这里安装Twisted-12.0.0。
3. 然后，安装zope.interface，可以用Mingw32，也可以不使用。
4. 接着，使用Windows安装程序在这里安装pyOpenSSL 0.13。
5. 最后，运行"pip install scrapy"，你就可以开始使用了！

希望这些能帮到你。

Answer 2

错误信息 'ImportError: No module named twisted.python' 表示你的电脑上缺少 twisted 这个模块。

你可以通过像 pip 这样的包管理工具来安装 twisted，或者去 下载一个适合 Windows 的安装包。