大数据检索与处理Python和PostgreSQL

Question

只是为了一些背景。我正在使用D3.js和直流js（带交叉过滤器）。这是一个Django项目，我使用的数据库是Postgresql。我目前正在研究一个通用条形图系列，它最终将允许用户选择他们希望看到的字段（从提供的数据集）以条形图格式相互绘制。在

我的数据库包含1000万个条目，每个条目有54个字段（单个表）。检索用于绘制基于时间的条形图的三个字段需要一分钟以上的时间。在Python中处理数据（改变列关键字名称以匹配通用条形图的名称）并将数据转换为json格式供图形使用，这对于我想要的应用程序来说是不可接受的。在

是否有可能“并行化”数据库的查询，这是否比我目前正在做的（一个普通的查询）更快。我四处看了一下，发现不多。有没有一个库或优化的函数可以用来快速将数据解析为所需的格式？在

Answer 1

我也做过类似的桌子尺寸。好吧，对于你正在寻找的东西，你需要切换到分布式postgres环境，即greenpull，它是MPP架构，支持列式存储。这对于具有大量列和表大小的表是理想的。在

http://docs.aws.amazon.com/redshift/latest/dg/c_columnar_storage_disk_mem_mgmnt.html

如果不打算切换到greenpull，可以尝试在当前postgres数据库中进行表分区。您的仪表板查询应该能够查询单个分区，这样您就可以查询更小的分区（表），查询时间会快得多。在