直接在Python中下载CSV到CSV解析器

Question

我正在尝试从morningstar下载CSV内容，然后解析这些内容。如果我直接把HTTP内容放进Python的CSV解析器里，结果格式就不对。但是，如果我先把HTTP内容保存到一个文件（/tmp/tmp.csv），然后再用Python的CSV解析器导入这个文件，结果就正确了。换句话说，为什么：

def finDownload(code,report):
    h = httplib2.Http('.cache')
    url = 'http://financials.morningstar.com/ajax/ReportProcess4CSV.html?t=' + code + '&region=AUS&culture=en_us&reportType='+ report + '&period=12&dataType=A&order=asc&columnYear=5&rounding=1&view=raw&productCode=usa&denominatorView=raw&number=1'
    headers, data = h.request(url)
    return data

balancesheet = csv.reader(finDownload('FGE','is'))
for row in balancesheet:
    print row

返回的是：

['F']
['o']
['r']
['g']
['e']
[' ']
['G']
['r']
['o']
['u']
     (etc...)

而不是：

[Forge Group Limited (FGE) Income Statement']

?

Answer 1

这个问题的原因在于，处理文件时是按行来读取的，而处理字符串时是按字符来读取的。

你需要用到StringIO或者cStringIO（Python 2）或者io.StringIO（Python 3，感谢John Machin的提醒），这样你就可以把字符串当作文件来处理：

Python 2:

mystring = 'a,"b\nb",c\n1,2,3'
import cStringIO
csvio = cStringIO.StringIO(mystring)
mycsv = csv.reader(csvio)

Python 3:

mystring = 'a,"b\nb",c\n1,2,3'
import io
csvio = io.StringIO(mystring, newline="")
mycsv = csv.reader(csvio)

这两种方法都能正确保留引号字段中的换行符：

>>> for row in mycsv: print(row)
...
['a', 'b\nb', 'c']
['1', '2', '3']