python scrape/get data aspx查询

Question

我正在尝试使用pythonhttps://safer.fmcsa.dot.gov/CompanySnapshot.aspx从这个站点中获取数据

我读了一些解释，但我仍然对请求头感到困惑。用什么python代码来搜索上面的站点或公司名称。你知道吗

谢谢你。你知道吗

Answer 1

我浏览了一下网站，发现在那里你可以输入3种类型的值，即USDOT Number，MC/MX Number，Name using radio按钮。名称在GET from中提供数据，例如https://safer.fmcsa.dot.gov/keywordx.asp?searchstring=%2A{name_search}%2A&SEARCHTYPE=ANY，您只需用搜索名称替换{name\u search}即可通过请求此url轻松获得这些数据。你知道吗

当USDOT和MC/MX以POST格式请求发送到https://safer.fmcsa.dot.gov/query.asp时，比如searchtype=ANY&query\u type=queryCarrierSnapshot&query\u param={USDOT/MC\u MX}&query\u string={your\u number}，您必须为其制作一个程序，以便获取它，以便将此数据发送到服务器。你知道吗

import requests
url = 'https://safer.fmcsa.dot.gov/query.asp'
data = {'searchtype':'ANY','query_type':'queryCarrierSnapshot',
'query_param':'USDOT','query_string':'529136'}
r = requests.post(url = url,data = data)
print(r.text)

Answer 2

该网站是一个简单的从填充页。出于安全考虑，您不能从该页面中删除点#或公司名称，因为标题将通过发送输入帖子从服务器请求您的数据方法真正的抓取数据，你可以做蛮力方法或通过使用字典和发送每个预测查询到服务器不断找到正确的。你知道吗