如何为Pandas数据帧指定内存分配？

Question

我试图合并两个大熊猫数据帧，但它在我的4GB RAM笔记本电脑上引发了一个内存错误，所以我在计算机实验室尝试了16GB的RAM，但仍然出现了相同的错误（在同一行代码崩溃）。在

我无法解决pandas为什么会出现同样的错误而不使用16gb的RAM空间。请帮我解决这个问题。在

feature_AtomPairs2DFingerprintCount=pd.read_csv("/home/adarsh/big_data_features/AtomPairs2DFingerprintCount.csv")
feature_AtomPairs2DFingerprinter=pd.read_csv("/home/adarsh/big_data_features/AtomPairs2DFingerprinter.csv")

merged_data_2=pd.merge(feature_AtomPairs2DFingerprinter,feature_AtomPairs2DFingerprintCount,how='left')



MERGED_DATA=pd.read_csv('/home/adarsh/comp_des.csv')


total_merged=pd.merge(MERGED_DATA,merged_data_2,how='left')

Answer 1

在资源.getrlimitcall将告诉您各种系统资源的硬限制和软限制。为了记忆

    soft, hard = resource.getrlimit(resource.RLIMIT_AS)

softlimit是一个值，当达到该值时，操作系统通常会限制进程或用信号通知它。软边界表示硬限制上的值。可以使用适当的调用修改软限制资源.setrlimit(). 硬限制通常由系统管理员设置的系统范围参数控制。它不能由用户级进程提升，尽管它可以被降低。据报道，这在Linux上可以工作，但在MacOS或Windows上不起作用，因为这两个值都返回-1。在

我怀疑你正在接近操作系统的最大进程大小。在