如何强制pandas read_csv对所有浮动列使用float32？

Question

因为

• 我不需要双精度
• 我的机器内存有限，我想处理更大的数据集
• 我需要将提取的数据（作为矩阵）传递给BLAS库，并且BLAS对单精度的调用比对双精度等价的调用快两倍。

请注意，并非原始csv文件中的所有列都具有浮点类型。我只需要将float32设置为float列的默认值。

Answer 1

尝试：

import numpy as np
import pandas as pd

# Sample 100 rows of data to determine dtypes.
df_test = pd.read_csv(filename, nrows=100)

float_cols = [c for c in df_test if df_test[c].dtype == "float64"]
float32_cols = {c: np.float32 for c in float_cols}

df = pd.read_csv(filename, engine='c', dtype=float32_cols)

首先读取100行数据的样本（根据需要修改）以确定每列的类型。

它创建了一个“float64”列的列表，然后使用字典理解创建一个字典，其中这些列作为键，“np.float32”作为每个键的值。

最后，它使用“c”引擎读取整个文件（为列分配dtype所必需），然后将float32\u cols字典作为参数传递给dtype。

df = pd.read_csv(filename, nrows=100)
>>> df
   int_col  float1 string_col  float2
0        1     1.2          a     2.2
1        2     1.3          b     3.3
2        3     1.4          c     4.4

>>> df.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 3 entries, 0 to 2
Data columns (total 4 columns):
int_col       3 non-null int64
float1        3 non-null float64
string_col    3 non-null object
float2        3 non-null float64
dtypes: float64(2), int64(1), object(1)

df32 = pd.read_csv(filename, engine='c', dtype={c: np.float32 for c in float_cols})
>>> df32.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 3 entries, 0 to 2
Data columns (total 4 columns):
int_col       3 non-null int64
float1        3 non-null float32
string_col    3 non-null object
float2        3 non-null float32
dtypes: float32(2), int64(1), object(1)

Answer 2

@亚历山大的回答很好。某些列可能需要精确。如果是这样，您可能需要在列表理解中添加更多条件来排除某些列内置的any或all很方便：

float_cols = [c for c in df_test if all([df_test[c].dtype == "float64", 
             not df_test[c].name == 'Latitude', not df_test[c].name =='Longitude'])]