如何在循环中使用`numpy.savez`保存多个数组？
我在一个循环中得到了一个数组。我想把这些数组保存到一个tempfile里。问题是np.savez只保存了循环中的最后一个数组。我觉得我明白为什么会这样，但不知道怎么做得更好。
为了解决这个问题，我想到了一个办法，就是用mode=a+b来打开这个临时文件，目的是把循环中的新数组追加进去。但是这样并没有成功。
到目前为止我的代码是：
tmp = TemporaryFile(mode="a+b")
for i in range(10):
array = getarray[i] #demo purpose
np.savez(tmp,array)
tmp.seek(0)
然后我用这个临时文件来读取数组：
tmp_read = np.load(tmp)
print tmp_read.files
[OUTPUT]: ['arr_0']
但我想在临时文件里有10个数组。有没有什么好主意？
谢谢
4 个回答
3
我不是一个有经验的程序员，但这是我做的方式（也许将来能帮助到某些人）。另外，这是我第一次在这里发帖，如果我没有遵循某种标准，我先在这里道个歉；）
创建npz文件：
import numpy as np
tmp = file("C:\\Windows\\Temp\\temp_npz.npz",'wb')
# some variables
a= [23,4,67,7]
b= ['w','ww','wwww']
c= np.ones((2,6))
# a lit containing the name of your variables
var_list=['a','b','c']
# save the npz file with the variables you selected
str_exec_save = "np.savez(tmp,"
for i in range(len(var_list)):
str_exec_save += "%s = %s," % (var_list[i],var_list[i])
str_exec_save += ")"
exec(str_exec_save)
tmp.close
用原来的名字加载变量：
import numpy as np
import tempfile
tmp = open("C:\\Windows\\Temp\\temp_npz.npz",'rb')
# loading of the saved variables
var_load = np.load(tmp)
# getting the name of the variables
files = var_load.files
# loading then with their original names
for i in range(len(files)):
exec("%s = var_load['%s']" % (files[i],files[i]) )
唯一的不同是，这些变量会变成numpy变量。
4
首先，抱歉我的英语可能不太好。
因为这个叫做savez的函数会打开一个文件，把所有的变量写进去，然后再关闭文件，所以每次调用它的时候，数据会被覆盖。
savez这个功能很简单。你可以在这里找到它的代码：https://github.com/numpy/numpy/blob/master/numpy/lib/npyio.py
那么，如何实现一个“你自己的savez”呢？可以使用下面的代码。
tmp = TemporaryFile()
f = my_savez(tmp)
for i in range(10):
array = getarray[i] #demo purpose
f.savez(array)
f.close()
tmp.seek(0)
tmp_read = np.load(tmp)
print tmp_read.files
这是我写的一个简单粗糙的代码。
import numpy as np
import tempfile
class my_savez(object):
def __init__(self, file):
# Import is postponed to here since zipfile depends on gzip, an optional
# component of the so-called standard library.
import zipfile
# Import deferred for startup time improvement
import tempfile
import os
if isinstance(file, basestring):
if not file.endswith('.npz'):
file = file + '.npz'
compression = zipfile.ZIP_STORED
zip = self.zipfile_factory(file, mode="w", compression=compression)
# Stage arrays in a temporary file on disk, before writing to zip.
fd, tmpfile = tempfile.mkstemp(suffix='-numpy.npy')
os.close(fd)
self.tmpfile = tmpfile
self.zip = zip
self.i = 0
def zipfile_factory(self, *args, **kwargs):
import zipfile
import sys
if sys.version_info >= (2, 5):
kwargs['allowZip64'] = True
return zipfile.ZipFile(*args, **kwargs)
def savez(self, *args, **kwds):
import os
import numpy.lib.format as format
namedict = kwds
for val in args:
key = 'arr_%d' % self.i
if key in namedict.keys():
raise ValueError("Cannot use un-named variables and keyword %s" % key)
namedict[key] = val
self.i += 1
try:
for key, val in namedict.iteritems():
fname = key + '.npy'
fid = open(self.tmpfile, 'wb')
try:
format.write_array(fid, np.asanyarray(val))
fid.close()
fid = None
self.zip.write(self.tmpfile, arcname=fname)
finally:
if fid:
fid.close()
finally:
os.remove(self.tmpfile)
def close(self):
self.zip.close()
tmp = tempfile.TemporaryFile()
f = my_savez(tmp)
for i in range(10):
array = np.zeros(10)
f.savez(array)
f.close()
tmp.seek(0)
tmp_read = np.load(tmp)
print tmp_read.files
for k, v in tmp_read.iteritems():
print k, v
11
你也可以通过使用 ** 运算符来使用自定义的键。
import numpy as np
a1 = [1,2,3]
a2 = [10,20,30]
savez_dict = dict()
for i in ['a1', 'a2']:
savez_dict['key_'+i] = i
np.savez("t.npz", **savez_dict)
13
你可以使用 *args 这个参数，把很多数组都保存在一个临时文件里。
np.savez(tmp, *getarray[:10])
或者：
np.savez(tmp, *[getarray[0], getarray[1], getarray[8]])