登录网站并从pag检索数据

Question

因此，我正在制作一个脚本，从一个页面获取信息，您可以使用BeautifulSoup查看并从中检索数据，但是要从主页获取数据，您需要登录。如何登录并从它发送给我的页面中检索数据，以便在BeautifulSoup中进行解析？你知道吗

Answer 1

在登录到网站之前，它需要cookies和服务器需要用户代理登录到网站，所以我认为这将有帮助 python programm to log into the web page

Answer 2

您可以使用requests_ntlm。你知道吗

import requests
from requests_ntlm import HttpNtlmAuth

r = requests.get("http://protected_site.com",auth=HttpNtlmAuth('domain\\username','password'))

soup = r.text
print soup
#print soup.prettify()) or whatever bs4 stuff you want to do

1. 替换受保护的_网站.com与您要从中获取信息的站点的域
2. 用适当的值替换“domain”和“username”，同时保持\\在它们之间。你知道吗
3. 把print soup换成你心目中任何一个精彩的bs4任务。你知道吗