Python中文
首页
教程
问答
标签
搜索
登录
注册
numpy数组中的内存管理,python
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>处理非常大(大于50Gb)的文件时出现内存错误(问题:RAM内存已满)。在</p> <p>我的解决方案是:我只想一次读取500千字节的数据并进行处理(然后从内存中删除它,然后转到下一个500KB)。还有其他更好的解决办法吗?或者,如果这个解决方案看起来更好,那么如何使用numpy array?在</p> <p>只是代码的四分之一(只是为了一个想法)</p> <pre><code> import h5py import numpy as np import sys import time import os hdf5_file_name = r"test.h5" <a href="https://www.cnpython.com/pypi/dataset" class="inner-link">dataset</a>_name = 'IMG_Data_2' file = h5py.File(hdf5_file_name,'r+') dataset = file[dataset_name] data = dataset.value dec_array = data.flatten() ........ </code></pre> <p>我得到内存错误在这一点,因为它试图把所有的数据放入内存。在</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>memmap对象可以在任何接受ndarray的地方使用。给定一个memmap fp,isinstance(fp,努比·恩达雷)返回True。在</p> <p>在32位系统上,内存映射文件不能大于2GB。在</p> <p>当memmap导致在文件系统中创建或扩展的文件超出其当前大小时,新部分的内容未指定。在具有POSIX文件系统语义的系统上,扩展部分将填充零字节。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
Python中两个字典的交集
1 回答
python中两个字符串上的异或操作数?
6 回答
Python中两个字符串中的类似句子
1 回答
Python中两个字符串之间的Hamming距离
3 回答
python中两个字符串之间的匹配模式
5 回答
python中两个字符串之间的按位或
8 回答
python中两个字符串之间的数据(字节)切片
8 回答
python中两个字符串之间的模式
6 回答
python中两个字符串作为子字符串的区别
8 回答
Python中两个字符串元组的比较
8 回答
Python中两个字符串列表中的公共字符串
7 回答
python中两个字符串的Anagram测试
7 回答
Python中两个字符串的正则匹配
7 回答
python中两个字符串的笛卡尔乘积
10 回答
Python中两个字符串相似性的比较
9 回答
python中两个字符串语义相似度的求法
10 回答
Python中两个字符置换成固定长度的字符串,每个字符的数目相等
2 回答
Python中两个对数方程之间的插值和平滑数据
5 回答
Python中两个对象之间的And/Or运算符
9 回答
python中两个嵌套字典中相似键的和值
3 回答