Pandas pytable：如何指定MultiIndex元素的min_itemsize

Question

我在用pandas库存储一个数据表，这个数据表里有一个叫做MultiIndex的多重索引。

这个多重索引的第一层是用户ID，通常这些用户ID是13个字符长，但有些是15个字符长。当我试图添加一个包含长用户ID的记录时，pytables会报错，因为它只期待13个字符的字段。

ValueError('Trying to store a string with len [15] in [user] column but\nthis column has a limit of [13]!\nConsider using min_itemsize to preset the sizes on these columns',)

不过，我不知道怎么设置MultiIndex中元素的最小字符长度属性min_itemsize。我试过用{'index': 15}，但没有成功……

我知道我可以在一开始就把所有ID强制变成15个字符长，通过添加空格来实现，但如果可以的话，我更希望避免这样做。

谢谢你的帮助！

Answer 1

你需要指定你想要设置 min_itemsize 的多重索引级别的名称。下面是一个例子：

创建两个多重索引的数据框

In [1]: df1 = DataFrame(np.random.randn(4,2),index=MultiIndex.from_product([['abcdefghijklm','foo'],[1,2]],names=['string','number']))

In [2]: df2 = DataFrame(np.random.randn(4,2),index=MultiIndex.from_product([['abcdefghijklmop','foo'],[1,2]],names=['string','number']))

In [3]: df1
Out[3]: 
                             0         1
string        number                    
abcdefghijklm 1       0.737976  0.840718
              2       0.605763  1.797398
foo           1       1.589278  0.104186
              2       0.029387  1.417195

[4 rows x 2 columns]

In [4]: df2
Out[4]: 
                               0         1
string          number                    
abcdefghijklmop 1       0.539507 -1.059085
                2       1.263722 -1.773187
foo             1       1.625073  0.078650
                2      -0.030827 -1.691805

[4 rows x 2 columns]

创建一个存储

In [9]: store = pd.HDFStore('test.h5',mode='w')

In [10]: store.append('df1',df1)

这里计算了长度

In [12]: store.get_storer('df1').table
Out[12]: 
/df1/table (Table(4,)) ''
  description := {
  "index": Int64Col(shape=(), dflt=0, pos=0),
  "values_block_0": Float64Col(shape=(2,), dflt=0.0, pos=1),
  "number": Int64Col(shape=(), dflt=0, pos=2),
  "string": StringCol(itemsize=13, shape=(), dflt='', pos=3)}
  byteorder := 'little'
  chunkshape := (1456,)
  autoindex := True
  colindexes := {
    "index": Index(6, medium, shuffle, zlib(1)).is_csi=False,
    "number": Index(6, medium, shuffle, zlib(1)).is_csi=False,
    "string": Index(6, medium, shuffle, zlib(1)).is_csi=False}

这是你现在遇到的错误

In [13]: store.append('df1',df2)

ValueError: Trying to store a string with len [15] in [string] column but
this column has a limit of [13]!
Consider using min_itemsize to preset the sizes on these columns

用级别的名称来指定 min_itemsize

In [14]: store.append('df',df1,min_itemsize={ 'string' : 15 })

In [15]: store.get_storer('df').table
Out[15]: 
/df/table (Table(4,)) ''
  description := {
  "index": Int64Col(shape=(), dflt=0, pos=0),
  "values_block_0": Float64Col(shape=(2,), dflt=0.0, pos=1),
  "number": Int64Col(shape=(), dflt=0, pos=2),
  "string": StringCol(itemsize=15, shape=(), dflt='', pos=3)}
  byteorder := 'little'
  chunkshape := (1394,)
  autoindex := True
  colindexes := {
    "index": Index(6, medium, shuffle, zlib(1)).is_csi=False,
    "number": Index(6, medium, shuffle, zlib(1)).is_csi=False,
    "string": Index(6, medium, shuffle, zlib(1)).is_csi=False}

追加

In [16]: store.append('df',df2)

In [19]: store.df
Out[19]: 
                               0         1
string          number                    
abcdefghijklm   1       0.737976  0.840718
                2       0.605763  1.797398
foo             1       1.589278  0.104186
                2       0.029387  1.417195
abcdefghijklmop 1       0.539507 -1.059085
                2       1.263722 -1.773187
foo             1       1.625073  0.078650
                2      -0.030827 -1.691805

[8 rows x 2 columns]

In [20]: store.close()