为什么np.genfromtxt（）对于大型数据集，最初会占用大量内存？

Question

我有一个数据集，有450000列和450行-都是数值。我用np.genfromtxt()函数将数据集加载到NumPy数组中：

# The skip_header skips over the column names, which is the first row in the file
train = np.genfromtxt('train_data.csv', delimiter=',', skip_header=1)

train_labels = train[:, -1].astype(int)
train_features = train[:, :-1]

最初加载数据集时使用RAM-15GB以上的函数。但是，在该函数运行完毕后，它的RAM使用量仅为2-3GB。为什么np.genfromtxt()最初会占用这么多内存？在

Answer 1

{在kasvd中提出了一个好的解决方案。这个答案中的iter_loadtxt()解决方案是我的问题的完美解决方案：

def iter_loadtxt(filename, delimiter=',', skiprows=0, dtype=float):
    def iter_func():
        with open(filename, 'r') as infile:
            for _ in range(skiprows):
                next(infile)
            for line in infile:
                line = line.rstrip().split(delimiter)
                for item in line:
                    yield dtype(item)
        iter_loadtxt.rowlength = len(line)

    data = np.fromiter(iter_func(), dtype=dtype)
    data = data.reshape((-1, iter_loadtxt.rowlength))
    return data

genfromtxt()占用这么多内存的原因是它在解析数据文件时没有将数据存储在高效的NumPy数组中，因此在NumPy解析我的大数据文件时内存使用过多。在