熊猫：将一列转换为选项卡

Question

我有一张桌子，实际上是两张桌子。表中的每一行都是表A中的行和表B中的行，用“|”分隔。每个列中的列用“，”分隔。你知道吗

这是一个巨大的表（200 GB），所以我需要有效地完成这项工作。你知道吗

样本数据：

0.0,0|586,abc,6
0.4,2|416,efg,3
1.0,8|007,hik,1

我想把A桌作为熊猫桌，B桌作为单独的熊猫桌。你知道吗

Answer 1

“这是一个巨大的表（200GB），所以我需要高效地完成它。”—那就不要使用pandas。你知道吗

如果必须，可以首先将数据作为单个数据帧读入：

  df = pd.read_csv('test.txt', header=None, sep='[,|]')

然后根据需要分开数据：

  df1 = df.iloc[:, 0:3]
  df2 = df.iloc[:, 3:5]
  del df

这涉及到分离，并且只加载一次数据，但是对于这种大小的数据，您应该使用不同的工具。。。你知道吗