大D上的SciKit学习训练分类器

Question

我正在与scikit一起学习训练决策树分类器。你知道吗

Scikit learn要求，对于培训，所有数据都要预先加载和提供

clf.fit(features, ys)

但是，我的特性和y是从数据文件中加载的，这些数据文件有几个GBs，不能同时在Python中加载它们。你知道吗

有什么办法解决这个问题吗？你知道吗

我想不出一个明显的解决方案，因为决策树依赖于信息增益/熵减少，这需要一次对所有数据进行概述，但我认为以前可能有人遇到过类似的问题。你知道吗