我正在处理大约500GB的100个大.csv
文件。处理这么多大数据变得越来越困难,所以我想通过将float64
转换成float32
来减少开销。我已经用astype('float32')
显式地完成了它,但是在一个算术运算之后它正在转换回float64
。你知道吗
data.dtypes -> dtype('float64')
data32 = data.astype('float32')
data32.dtypes -> dtype('float32')
#after a float operation
data_f = data32*1.01 #######-> I want to keep data type float32 after operation
data_f.dtypes -> dtype('float64')
我想将默认结果保留在32-bit mode
。我发现了一个similar question,但差不多十年前就有人问过了。我希望得到一个修复程序,这样我就可以全局设置32bit
操作。你知道吗
使用pandas读取csv并指定每列的类型;使用pandas写回csv。
您还可以将numpy用于(快速)算术运算,并指定纯python中不可用的dtype float32。你知道吗
相关问题 更多 >
编程相关推荐