pandas读取csv并使用usecols过滤列

Question

我有一个CSV文件，在用 pandas.read_csv 读取的时候，使用 usecols 过滤列和多个索引时，数据没有正确加载。

import pandas as pd
csv = r"""dummy,date,loc,x
   bar,20090101,a,1
   bar,20090102,a,3
   bar,20090103,a,5
   bar,20090101,b,1
   bar,20090102,b,3
   bar,20090103,b,5"""

f = open('foo.csv', 'w')
f.write(csv)
f.close()

df1 = pd.read_csv('foo.csv',
        header=0,
        names=["dummy", "date", "loc", "x"], 
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"])
print df1

# Ignore the dummy columns
df2 = pd.read_csv('foo.csv', 
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"], # <----------- Changed
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
print df2

我希望 df1 和 df2 除了缺少一个虚拟列外应该是一样的，但列的标签却搞错了。而且日期也被当成日期格式解析了。

In [118]: %run test.py
               dummy  x
date       loc
2009-01-01 a     bar  1
2009-01-02 a     bar  3
2009-01-03 a     bar  5
2009-01-01 b     bar  1
2009-01-02 b     bar  3
2009-01-03 b     bar  5
              date
date loc
a    1    20090101
     3    20090102
     5    20090103
b    1    20090101
     3    20090102
     5    20090103

用列的编号代替名字也遇到了同样的问题。我可以通过在读取CSV后删除虚拟列来解决这个问题，但我想搞清楚到底出了什么问题。我使用的是 pandas 0.10.1。

编辑：修正了错误的表头使用。

Answer 1

如果你的csv文件里有多余的数据，可以在导入后从数据表中删除一些列。

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
del df['dummy']

这样我们就得到了：

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

Answer 2

这段代码实现了你想要的功能，不过它有点奇怪，可能还有很多bug：

我发现它在以下情况下可以正常工作：

a) 你需要根据实际使用的列数来指定 index_col，在这个例子中是三列，而不是四列（你需要去掉 dummy，然后从剩下的开始计数）

b) parse_dates 也是一样的道理

c) 但 usecols 就不一样了，原因很明显哦

d) 在这里我调整了 names，让它跟这种行为一致

import pandas as pd
from StringIO import StringIO

csv = """dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5
"""

df = pd.read_csv(StringIO(csv),
        index_col=[0,1],
        usecols=[1,2,3], 
        parse_dates=[0],
        header=0,
        names=["date", "loc", "", "x"])

print df

这段代码会输出

                x
date       loc   
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

Answer 3

解决这个问题的关键在于理解这两个关键词参数：

• names 这个参数只有在你的文件没有表头行时才需要用到。如果你想用列名而不是数字索引来指定其他参数（比如 usecols），这时候就需要用到这个参数。
• usecols 是用来在读取整个数据表之前进行筛选的；如果用得当，读取后就不需要再删除列了。

因为你的文件中有表头行，所以只需要传入 header=0 就足够了，额外传入 names 反而让 pd.read_csv 感到困惑。

去掉第二次调用中的 names 参数，就能得到想要的结果：

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        header=0,
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"],
        parse_dates=["date"])

这样我们就得到了：

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5