facebook页面抓取需要登录

Question

我正在抓取facebook页面的数据，但要访问所有数据，我需要登录到我正在使用的帐户。在

import wget
from bs4 import BeautifulSoup
url = "https://www.facebook.com/hellomeets/events"

down = wget.download(url)

f = open(down, 'r')
htmlText = "\n".join(f.readlines())
f.close()
print htmlText

我如何登录我的帐户和刮取所有的网页数据？在

Answer 1

对于python3，可以使用urllib library。在

下面是一个用户使用它来登录站点的例子。在

How to use urllib in python 3?

Answer 2

经过一番调查，我发现Facebook实现了某种CRSF保护，因此简单的urllib3或请求将无法工作。在

试试这样的方法： Login to Facebook using python requests它仍然使用请求，但是使用session