pythonscrapy:登录到一个网站然后报废

2024-05-13 11:32:11 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试一些新的方法来练习网页清理。我试图登录一个网站,然后刮具体的项目。在

我为这个目的构建了这个代码,但是它不起作用。我正在使用scrapy.FormRequest登录,并使用目前从文档中读到的内容,我有以下代码设置:

class HomelyspiderSpider(scrapy.Spider):
    name = "homelyspider"
    allowed_domains = ["homely.com.au"]
    start_urls = ['https://homely.com.au/']

    def parse(self, response):

             yield scrapy.FormRequest.from_response(
                response,
                formxpath='.//div[@class="Modal-body"]/form',
                formdata={
                    'usernameOrEmail': 'myusername',             
                    'password': 'mypassword',
                },
                clickdata = { "type": "Submit" },
                callback=self.after_login
            )
    def after_login(self, response):
            "DO SCRAPING NOW"

登录页面HTML

^{pr2}$

我知道这是不相关的,因为from在页面中,但是我仍然用提供的链接显示步骤和元素。在

这是主页面我必须单击登录

enter image description here

enter image description here

然后出现登录弹出窗口,其中包含我之前提供的表单代码:

enter image description here

我做错什么了?根据我对scrapy DOCs的理解,我的废表单请求代码应该可以工作,对吧?在


Tags: 代码fromselfcom表单responsedeflogin