如何从需要使用python和BeautifulSoup登录的网页中提取文本？

Question

我要从一个叫晨星网. 要访问这些数据，我必须登录。一旦我登录并提供了网页的url，我就会得到一个普通用户（未登录）的HTML文本，因此无法访问这些信息。有什么解决办法吗？在

Answer 1

beauthoulsoup用于解析html，一旦您已经获取了它。您可以使用任何标准的url获取库来获取html。我更喜欢curl，因为您标记了您的帖子，python的内置urllib2也可以很好地工作。在

如果你说在登录响应后html和那些没有登录的人是一样的，我猜你的登录由于某种原因失败了。如果您使用的是urllib2，您是否确保在第一次登录后正确存储cookie，然后在发送数据请求时将此cookie传递给urllib2？在

如果您发布用于发出这两个请求（初始登录和获取数据的尝试）的代码，这将有所帮助。在