将Python序列转换为NumPy数组，填充缺失值

Question

将Python的可变长度列表序列隐式转换为NumPy数组会导致数组类型为object。

v = [[1], [1, 2]]
np.array(v)
>>> array([[1], [1, 2]], dtype=object)

尝试强制其他类型将导致异常：

np.array(v, dtype=np.int32)
ValueError: setting an array element with a sequence.

通过用给定的占位符填充“丢失”值，获得int32类型的密集NumPy数组的最有效方法是什么？

从我的示例序列v中，如果0是占位符，我希望得到这样的结果

array([[1, 0], [1, 2]], dtype=int32)

Answer 1

这里有一个几乎是矢量化的基于布尔索引的方法，我在其他几篇文章中使用过-

def boolean_indexing(v):
    lens = np.array([len(item) for item in v])
    mask = lens[:,None] > np.arange(lens.max())
    out = np.zeros(mask.shape,dtype=int)
    out[mask] = np.concatenate(v)
    return out

样本运行

In [27]: v
Out[27]: [[1], [1, 2], [3, 6, 7, 8, 9], [4]]

In [28]: out
Out[28]: 
array([[1, 0, 0, 0, 0],
       [1, 2, 0, 0, 0],
       [3, 6, 7, 8, 9],
       [4, 0, 0, 0, 0]])

*请注意，这几乎是矢量化的，因为这里执行的唯一循环是在开始时，我们得到列表元素的长度。但这一部分对计算要求不高，对整个运行时的影响应该很小。

运行时测试

在这一节中，我正在计时^{}，^{}，因为它们似乎可以很好地伸缩，而且本文中基于布尔索引的索引可以用于一个相对较大的数据集，在列表元素中具有三个级别的大小变化。

情况1：尺寸变化较大

In [44]: v = [[1], [1,2,4,8,4],[6,7,3,6,7,8,9,3,6,4,8,3,2,4,5,6,6,8,7,9,3,6,4]]

In [45]: v = v*1000

In [46]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)
100 loops, best of 3: 9.82 ms per loop

In [47]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T
100 loops, best of 3: 5.11 ms per loop

In [48]: %timeit boolean_indexing(v)
100 loops, best of 3: 6.88 ms per loop

案例2：尺寸变化较小

In [49]: v = [[1], [1,2,4,8,4],[6,7,3,6,7,8]]

In [50]: v = v*1000

In [51]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)
100 loops, best of 3: 3.12 ms per loop

In [52]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T
1000 loops, best of 3: 1.55 ms per loop

In [53]: %timeit boolean_indexing(v)
100 loops, best of 3: 5 ms per loop

Case#3：每个列表元素的元素数量更多（最多100个）

In [139]: # Setup inputs
     ...: N = 10000 # Number of elems in list
     ...: maxn = 100 # Max. size of a list element
     ...: lens = np.random.randint(0,maxn,(N))
     ...: v = [list(np.random.randint(0,9,(L))) for L in lens]
     ...: 

In [140]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)
1 loops, best of 3: 292 ms per loop

In [141]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T
1 loops, best of 3: 264 ms per loop

In [142]: %timeit boolean_indexing(v)
10 loops, best of 3: 95.7 ms per loop

对我来说，它似乎做得很好！没有明确的赢家，但必须逐案处理！

Answer 2

熊猫和它的DataFrame-s能很好地处理丢失的数据。

import numpy as np
import pandas as pd

v = [[1], [1, 2]]
print(pd.DataFrame(v).fillna(0).values.astype(np.int32))

# array([[1, 0],
#        [1, 2]], dtype=int32)

Answer 3

您可以使用itertools.zip_longest：

import itertools
np.array(list(itertools.zip_longest(*v, fillvalue=0))).T
Out: 
array([[1, 0],
       [1, 2]])

注意：对于Python 2，它是itertools.izip_longest。