我正在尝试一些新的方法来练习网页清理。我试图登录一个网站,然后刮具体的项目。在
我为这个目的构建了这个代码,但是它不起作用。我正在使用scrapy.FormRequest
登录,并使用目前从文档中读到的内容,我有以下代码设置:
class HomelyspiderSpider(scrapy.Spider):
name = "homelyspider"
allowed_domains = ["homely.com.au"]
start_urls = ['https://homely.com.au/']
def parse(self, response):
yield scrapy.FormRequest.from_response(
response,
formxpath='.//div[@class="Modal-body"]/form',
formdata={
'usernameOrEmail': 'myusername',
'password': 'mypassword',
},
clickdata = { "type": "Submit" },
callback=self.after_login
)
def after_login(self, response):
"DO SCRAPING NOW"
登录页面HTML:
^{pr2}$我知道这是不相关的,因为from在页面中,但是我仍然用提供的链接显示步骤和元素。在
这是主页面我必须单击登录:
然后出现登录弹出窗口,其中包含我之前提供的表单代码:
我做错什么了?根据我对scrapy DOCs的理解,我的废表单请求代码应该可以工作,对吧?在
值错误:在<;200https://www.homely.com.au/>;中找不到元素; 它找不到形式。。。在
相关问题 更多 >
编程相关推荐