LightGBM的特征重要性

Question

我已经使用几种算法训练了一个模型，包括skicit learn和LightGBM的随机森林。这些模型在准确性和其他统计数据方面表现相似

问题在于这两种算法在特征重要性方面的行为不一致。我使用了默认参数，我知道它们使用不同的方法来计算特征重要性，但我认为高度相关的特征对模型的预测影响最大。随机森林对我来说更有意义，因为高度相关的特征出现在顶部，而LightGBM则不是这样

有没有办法解释这种行为？LightGBM的结果是否可信

随机森林特征重要性

LightGBM功能重要性

与目标的相关性

Answer 1

嗯，GBM通常表现得更好，尤其是与随机林相比。尤其是与LightGBM进行比较时。与random forest相比，经过适当调整的LightGBM在性能和速度方面最有可能获胜

GBM优势：

More developed. A lot of new features are developed for modern GBM model (xgboost, lightgbm, catboost) which affect its performance, speed, and scalability.

GBM的缺点：

Number of parameters to tune
Tendency to overfit easily

如果您不能完全确定LightGBM的超参数是否正确调整，请坚持使用随机林；这将更易于使用和维护