使用用户名和密码从外部站点抓取数据

Question

我有一个有很多用户的应用程序，其中一些用户在一个外部网站上有一个帐户，上面有我想搜集的数据。你知道吗

此外部站点的成员区域受电子邮件/密码表单保护。这会在提交时设置一些cookies（一些ASP cookies）。然后，您可以调出所需的页面并获取外部站点为刚刚登录的用户保存的数据。你知道吗

外部站点没有API。你知道吗

我设想我的应用程序要求用户向外部站点提供他们的凭据，代表他们登录并获取我们想要的数据。你知道吗

我该如何用Python来处理这个问题，即我是否需要在Python所驱动的服务器上运行GUI web浏览器来处理cookies（我宁愿不要）？你知道吗

Answer 1

1. 通过在浏览器的检查器中检查登录调用的格式，找到页面对后端的调用。你知道吗
2. 在使用^{}从终端或通过GUI获取用户凭据之后，发出相同的请求。您可以使用^{}发出请求。你知道吗
3. 将响应中的所有cookie保存到cookiejar。你知道吗
4. 在后续请求中重用cookie并获取数据。你知道吗

然后是利润。你知道吗

Answer 2

通常，这是通过会话执行的。你知道吗

我建议您使用请求库（http://docs.python-requests.org/en/latest/）来实现这一点。你知道吗

您可以使用会话功能（http://docs.python-requests.org/en/latest/user/advanced/#session-objects）。只需执行一个身份验证HTTP请求（url和参数取决于您想要请求的网站），然后，向您想要刮取的资源执行一个请求。你知道吗

如果没有进一步的信息，我们无法为您提供更多的帮助。你知道吗