我正在尝试使用Scrapy登录我的大学帐户,导航到班级注册页面,选择某个学期和课程主题,提交这些选项,然后从包含所列课程的页面中获取有关这些课程的信息。到目前为止,我要登录我的帐户:
import scrapy
class myuh(scrapy.Spider):
name = 'myuh.com'
start_urls = ['https://my.uh.edu/psp/paprd/?cmd=login']
def parse(self, response):
return scrapy.FormRequest.from_response(
response,
formdata={'userid': 'MYLOGINID', 'pwd': 'MYPASSWORD'},
callback=self.after_login
)
def after_login(self, response):
# check login succeed before going on
if "authentication failed" in response.body:
self.log("Login failed", level=log.ERROR)
return
{a1}需要导航。在
然后从该页面的javascript表单中选择选项并点击提交。我想我已经知道我可以使用Selenium提交表单,但是我不知道如何导航到那个web页面。在
除了Scrapy之外,您可能还想看看Splinter(或者,如果您只需要解析页面,则可以使用更简单的方法)。在
相关问题 更多 >
编程相关推荐