从Pandas 0.19.2开始,函数read_csv()可以传递一个URL。例如,请参见answer:
import pandas as pd
url="https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv"
c=pd.read_csv(url)
我想使用的URL是:https://moz.com/top500/domains/csv
使用上述代码,此URL将返回一个错误:
^{pr2}$基于this post,我可以通过传递请求头获得有效响应:
import urllib2,cookielib
site= "https://moz.com/top500/domains/csv"
hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
'Accept-Encoding': 'none',
'Accept-Language': 'en-US,en;q=0.8',
'Connection': 'keep-alive'}
req = urllib2.Request(site, headers=hdr)
try:
page = urllib2.urlopen(req)
except urllib2.HTTPError, e:
print (e.fp.read())
content = page.read()
print (content)
有没有什么方法可以使用Pandasread_csv()
的web URL功能,同时传递一个请求头以使请求通过?在
我建议您在任务中使用requests和io库。以下代码应完成此工作:
(如果要添加自定义头,只需修改
headers
变量)希望这有帮助
相关问题 更多 >
编程相关推荐