用opc定义回归问题的超参数搜索空间

Question

本tutorial展示了如何使用sklearn解决回归问题，并使用Optuna优化LightGBM模型的超参数。我立即注意到的一件事是，在训练回归模型之前，它们不会规范化任何参数。这个问题中不需要规范化有什么原因吗

我还试图将参数（节点数、层数、激活函数、学习速率）传递给objective函数，如2. Use "trial" module to define hyperparameters dynamically!部分所述。我正在阅读docs，对如何将超参数搜索空间合并到objective函数感到困惑

Answer 1

第一个回归算法（普通最小二乘法）是在没有考虑标准化的情况下开发的。事实上，大多数回归问题不需要任何形式的规范化，因为这会使模型更难解释。只有当算法对异常值非常敏感时，才应该规范化数据

也就是说，LightGBM是一种基于树的梯度提升算法。由于基于树，每个节点的截止点对单调变换不敏感

换句话说，如果f（·）是单调函数，x是降低成本函数最多的点，那么f（x）也是降低成本函数最多的点

通过对自变量进行标准化，可以从所有观测值中减去平均值，然后除以n。因此，您不会更改特征观察变量的顺序