2024-05-23 17:36:03 发布
网友
我想在本地保存一个redshift查询的输出。我曾经尝试过使用blaze/odo,但在默认设置下,在写入数据之前尝试将所有数据加载到内存中,并尝试流式传输数据,这会引发其他错误,描述了另一个问题:Streaming results with Blaze and SqlAlchemy
blaze/odo
因为这个问题没有任何答案,我正在寻找另一种方法。在
从Redshift将大于内存的查询结果加载到bcolz的一种简单、可靠且合理有效的方法是什么?
我知道这是一个古老的问题,但如果有同样问题的人偶然发现了这个问题,我会回答它以帮助你。我想你用火焰来访问红班。您必须在某个列上分区表,并反复执行,如:
import blaze as bz table = bz.Data('postgresql://server@example.com::table_name') val_list = bz.odo(table['column_name'].distinct(), list) np_dtype = table.schema[0].to_numpy_dtype() for val in val_list: table_partition = table[table['column_name'] == val] partition_len = int(table_partition.count()) bcolz.fromiter(table_partition, np_dtype, partition_len, rootdir='rootdir_for_partition', mode='w', cparams=compression_params)
而且比使用bcolz.步行迭代迭代结果。
我知道这是一个古老的问题,但如果有同样问题的人偶然发现了这个问题,我会回答它以帮助你。我想你用火焰来访问红班。您必须在某个列上分区表,并反复执行,如:
而且比使用bcolz.步行迭代迭代结果。
相关问题 更多 >
编程相关推荐