通过Google OAuth登录访问的Python scrapping数据

Question

我想从使用googleoauth进行身份验证的网站上获取一些数据。有些数据只能在我登录时访问。在

基本上，当你打开网站的时候(mamikos.com网站)点击登录，没有一个正常的登录表单选项，它会给你选择登录facebook或google。然后它会将你重定向到google登录页面。登录谷歌帐户后，你将被重定向到网站的主页，所有的数据都将很容易通过简单的点击访问。在

我基本上是个笨蛋，只知道一些基本的编码和谷歌搜索。我到处找遍了，但好像找错地方了。我试图用selenium编写代码来自动单击、传递用户名/密码并执行登录，但显然，selenium不是合适的工具，因为它将打开一个浏览器并执行这些操作。在

是否可以在后台进行登录和身份验证过程？我有超过十万个网页的网址，我需要从中获取数据。使用selenium会使我的计算机崩溃，并且需要很长时间才能完成。在

这里有人能给我展示或者至少给我指出正确的工具/库/方法吗。或者idk有可能吗？在

谢谢

Answer 1

我知道从这样的网站上获取数据是很困难的，因为这些网站都在登录页面后面。您将需要学习通过Python的请求库发送到服务器的请求的基本复制。一开始可能会让人望而生畏，但你可以学会step by step here。在