将大型PostgreSQL表读入Python

2024-04-29 05:42:41 发布

您现在位置:Python中文网/ 问答频道 /正文

我有以下数据:

ID  date    Net Total       Class
11  201706  XN  0.607500    P
53  201709  M9  0.989722    V
68  201709  FM  3.736944    P
61  201701  ZK  1.121388    B
17  201705  F   1.969722    V

这是PosteGreSQL中的一个巨大的表(5亿条记录),我需要将它的一个子集拉入Python,如下所示:

^{pr2}$

使用read_sql会产生内存错误。这个子集查询大约有58万条记录,我正在寻找一种将其导入python的方法。在

我考虑过:

  1. HDF5和PyTables-不知道如何使用Python将数据从PostgreSQL拉到HDF5/PyTables中。在
  2. 分成每个月的csv,然后将它们组合成pandas数据帧,但这不会仍然导致内存错误。在

    有人能给我指出解决这个问题的正确方向吗?


Tags: 数据内存iddatenet错误记录pytables