在Scrapy中使用认证会话进行抓取

33 投票

4 回答

39945 浏览

提问于 2025-04-16 16:47

在我之前的一个问题中，我没有详细说明我的问题（用Scrapy进行带有认证的网页抓取），希望能从更一般的回答中推导出解决方案。其实我应该用“爬虫”这个词。

这是我目前的代码：

class MySpider(CrawlSpider):
    name = 'myspider'
    allowed_domains = ['domain.com']
    start_urls = ['http://www.domain.com/login/']

    rules = (
        Rule(SgmlLinkExtractor(allow=r'-\w+.html$'), callback='parse_item', follow=True),
    )

    def parse(self, response):
        hxs = HtmlXPathSelector(response)
        if not "Hi Herman" in response.body:
            return self.login(response)
        else:
            return self.parse_item(response)

    def login(self, response):
        return [FormRequest.from_response(response,
                    formdata={'name': 'herman', 'password': 'password'},
                    callback=self.parse)]


    def parse_item(self, response):
        i['url'] = response.url

        # ... do more things

        return i

如你所见，我访问的第一个页面是登录页面。如果我还没有登录（在parse函数中），我会调用我自定义的login函数，这个函数会向登录表单发送信息。然后，如果我已经登录，我就想继续进行爬虫操作。

问题是，我尝试重写的parse函数为了登录，现在似乎不再调用必要的代码来抓取后续页面。我也不太确定如何保存我创建的项目。

有没有人之前做过类似的事情？（先认证，然后用CrawlSpider进行爬虫）任何帮助都非常感谢。

数据提取网页抓取认证会话管理自定义函数爬虫登录流程 scrapy框架

4 个回答

如果你需要的是 HTTP认证，可以使用提供的中间件钩子。

在 settings.py 文件中

DOWNLOADER_MIDDLEWARE = [ 'scrapy.contrib.downloadermiddleware.httpauth.HttpAuthMiddleware']

然后在你的 爬虫类 中添加一些属性

http_user = "user"
http_pass = "pass"

回答于 2025-04-16 由 Python大师

分享举报

为了让上面的解决方案有效，我需要让CrawlSpider这个类继承自InitSpider，而不是继承自BaseSpider。为此，我在scrapy的源代码中做了以下修改。在文件scrapy/contrib/spiders/crawl.py中：

添加：from scrapy.contrib.spiders.init import InitSpider
把class CrawlSpider(BaseSpider)改成class CrawlSpider(InitSpider)

否则，这个爬虫就不会调用init_request这个方法。

有没有其他更简单的方法呢？

回答于 2025-04-16 由 Python大师

分享举报

不要在 CrawlSpider 中重写 parse 函数：

当你使用 CrawlSpider 时，不应该重写 parse 函数。CrawlSpider 的文档中有个警告，具体可以查看这里：http://doc.scrapy.org/en/0.14/topics/spiders.html#scrapy.contrib.spiders.Rule

原因是，CrawlSpider 的 parse 函数（这是任何请求的默认回调函数）会把响应交给 Rule 来处理。

在爬虫开始爬取之前登录：

为了在爬虫开始爬取之前进行一些初始化，你可以使用一个 InitSpider（它是从 CrawlSpider 继承来的），并重写 init_request 函数。这个函数会在爬虫初始化时被调用，也就是在它开始爬取之前。

为了让爬虫开始爬取，你需要调用 self.initialized。

你可以在这里查看负责这部分的代码：这里（里面有很有用的文档说明）。

一个例子：

from scrapy.contrib.spiders.init import InitSpider
from scrapy.http import Request, FormRequest
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.spiders import Rule

class MySpider(InitSpider):
    name = 'myspider'
    allowed_domains = ['example.com']
    login_page = 'http://www.example.com/login'
    start_urls = ['http://www.example.com/useful_page/',
                  'http://www.example.com/another_useful_page/']

    rules = (
        Rule(SgmlLinkExtractor(allow=r'-\w+.html$'),
             callback='parse_item', follow=True),
    )

    def init_request(self):
        """This function is called before crawling starts."""
        return Request(url=self.login_page, callback=self.login)

    def login(self, response):
        """Generate a login request."""
        return FormRequest.from_response(response,
                    formdata={'name': 'herman', 'password': 'password'},
                    callback=self.check_login_response)

    def check_login_response(self, response):
        """Check the response returned by a login request to see if we are
        successfully logged in.
        """
        if "Hi Herman" in response.body:
            self.log("Successfully logged in. Let's start crawling!")
            # Now the crawling can begin..
            return self.initialized()
        else:
            self.log("Bad times :(")
            # Something went wrong, we couldn't log in, so nothing happens.

    def parse_item(self, response):

        # Scrape data from page

保存项目：

你的爬虫返回的项目会被传递到管道中，管道负责处理你想对数据做的任何事情。我建议你阅读一下文档：http://doc.scrapy.org/en/0.14/topics/item-pipeline.html

如果你在 Item 方面有任何问题或疑问，随时可以提问，我会尽力帮助你。

回答于 2025-04-16 由 Python大师

分享举报

在Scrapy中使用认证会话进行抓取

4 个回答

撰写回答