基于分区基准数据的机器学习参数整定

Question

我知道这将是非常基本的，但我真的很困惑，我想了解参数调整更好。你知道吗

我正在处理一个基准数据集，它已经被划分为三个部分：训练、开发和测试，我想使用GridSearchCV和sklearn来调整我的分类器参数。你知道吗

调整参数的正确分区是什么？是发展还是培训？

我在文献中看到研究人员提到他们“在开发分割上使用GridSearchCV调整参数”另一个例子是here

他们的意思是说他们在培训阶段进行了培训，然后在发展阶段进行了测试？或者ML从业者通常是指他们完全在开发分割上执行GridSearchCV吗？你知道吗

我真的很想澄清一下。谢谢你

Answer 1

通常在3路分割中，您使用训练集训练模型，然后在开发集（也称为验证集）上对其进行验证以优化超参数，然后在所有优化完成后，在测试集（也称为评估集）之前对未知的模型执行最终评估。你知道吗

在双向拆分中，您只有一个训练集和一个测试集，因此您可以在同一个测试集上执行调优/评估。你知道吗