MemoryError:无法分配形状为（2515406272）且数据类型为float32的数组

Question

我正试图通过美国有线电视新闻网（CNN）的Spyder和Anaconda来识别手指关节。我有2515个图像，我正在处理，似乎8GB是不够的做到这一点。我能做什么？ 我应该得到另一个RAM棒还是在Kaggle/Colab上做这个项目会是更好的方法

arr = np.array(finger_dat)
arr = arr.reshape((2515, 406272))

arr = arr / 255

#############Making dataset####################

label = np.array(range(503))
label = np.repeat(label, 5)

dataset = pd.DataFrame(arr)
dataset['label'] = label

X = dataset.iloc[:, 0:406272]
y = dataset.iloc[:, -1]

from sklearn.tree import DecisionTreeClassifier
dtf = DecisionTreeClassifier()
dtf.fit(X, y)

dtf.score(X, y)

Answer 1

尝试分批处理数据

看看这个文件。从sklearn： Strategies to scale computationally: bigger data