用python加载JavaScript后获取网站内容

2024-06-16 14:23:05 发布

您现在位置:Python中文网/ 问答频道 /正文

我对获取内容有异议:

with dryscrape.Session() as c:
    PASSWORD = '<PASS>'
    USERNAME = '<EMAIL>'
    URL = 'https://my.pingdom.com/'
    c.get(URL)
    soup = BeautifulSoup(c.get(URL).text, "lxml")
    csrf = soup.select_one("input[name=__csrf_magic]")["value"]
    login_data = {
        "email" : USERNAME,
        "password" : PASSWORD,
        "__csrf_magic" : csrf,}
r = c.post(URL, data=login_data, headers={'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'})
url = 'https://my.pingdom.com/newchecks/rums?ignoreActive=1'
r = c.get(url).text
print r

在浏览器中登录之后,我在源代码中得到了loadtime的值,但是当我使用这个scipt时,只有一个来自x-handlebars-template的{{loadtime}}标记。 有什么办法吗?这是服务器脚本,因此任何类型的提示都不会出现在这里。:)


Tags: texthttpscomurldatagetmymagic