python statsmodel包的测试与验证

Question

我已经能够使用result = logit.fit()进行模型预测。在

现在对于测试和验证集，我们应该只做result.predict(test_df[features])和{}？就这些吗？还是我错过了一步？当我尝试为日常预测部署模型时，会有什么不同？在

我是新来的statsmodel，事实上从今天开始，时间不多。我查了几篇博客，信息都脱节了，所以只想确定一下。在

另外，有没有一种方法可以直接从statsmodel中提取'Area under ROC'，而不是通过编码的方式？在

Answer 1

对于第一个问题，每个ML算法（树、logistic回归等）都有参数。为了寻找最佳的参数，我们训练了多个不同参数的模型，并保留了在验证数据集上给出最佳分数的模型（参数）。 现在，这个分数并不能让你知道在生产（预测）中，你用测试数据集上的最佳参数测试你的模型会得到什么样的分数，而这个最终的分数让你知道你的模型在生产中的表现。在

对于第二个问题，您可以使用skit learn，我在google上找到了这些示例http://www.programcreek.com/python/example/82598/sklearn.metrics.auc