带有Amazon Linux 2 AMI的32 gb EC2为9.6 gb数据帧抛出内存错误

Question

我正在使用32 Gb EC2（r5a.xlarge）和AmazonLinux2AMI2.0.20201126.0x86_64HVMGP2。 目前，我的Pandas数据帧的形状为（3607236072）——转换为9.69Gib，数据类型为float64

我不明白为什么EC2抛出下面的内存错误

MemoryError: Unable to allocate 9.69 GiB for an array with shape (36072, 36072) and data type float64

首先，当我今天运行一个较小的EC2实例（16GB RAM/t3a.xlarge）时，我也遇到了这个问题。 我完全不知道如何解决这个问题

我注意到很多Linux帖子都在谈论overcommit mode。这里有一个这样的帖子——https://stackoverflow.com/a/57511555/3228300

但是，EC2说我没有权限设置Overmit模式