抓取web数据

Question

我想从网站上抓取数据：https://en.macromicro.me/charts/773/baltic-dry-index ，包括4个数据集

我发现该网站使用javascript向https://en.macromicro.me/charts/data/773发送请求 获取数据，但由于某些原因，我无法使用Postman或我的脚本获取数据。我不断得到结果：{'success'：0，'data'：[]，'msg'：'error#240'}

我错过什么了吗？ 这是我的密码：

import requests
import json
import datetime
import pandas as pd

url = 'https://en.macromicro.me/charts/data/773'
header = {
'sec-ch-ua':'"Chromium";v="92", " Not A;Brand";v="99", "Google Chrome";v="92"',
'Accept':'application/json, text/javascript, */*; q=0.01',
'Docref': 'https://www.google.com/',
'X-Requested-With':'XMLHttpRequest',
'sec-ch-ua-mobile':'?0',
'Authorization':'Bearer ee1c7b87258a902bde1129df2b64abac',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
}
r = requests.get(url,headers = header)
response = json.loads(r.text)
response

Answer 1

标头中缺少Cookie。 刷新页面以获取cookies