使用Scrapy登录到一个网站，导航到javascript表单，选择选项，然后刮取显示的数据

Question

我正在尝试使用Scrapy登录我的大学帐户，导航到班级注册页面，选择某个学期和课程主题，提交这些选项，然后从包含所列课程的页面中获取有关这些课程的信息。到目前为止，我要登录我的帐户：

import scrapy

class myuh(scrapy.Spider):
name = 'myuh.com'
start_urls = ['https://my.uh.edu/psp/paprd/?cmd=login']

def parse(self, response):
    return scrapy.FormRequest.from_response(
        response,
        formdata={'userid': 'MYLOGINID', 'pwd': 'MYPASSWORD'},
        callback=self.after_login
    )

def after_login(self, response):
    # check login succeed before going on
    if "authentication failed" in response.body:
        self.log("Login failed", level=log.ERROR)
        return

{a1}需要导航。在

然后从该页面的javascript表单中选择选项并点击提交。我想我已经知道我可以使用Selenium提交表单，但是我不知道如何导航到那个web页面。在

Answer 1

除了Scrapy之外，您可能还想看看Splinter（或者，如果您只需要解析页面，则可以使用更简单的方法）。在