我有一些投注数据。一、 以及他们的原始投注结果和他们的原始投注结果。在
给出一个新的赌注建议,从一个用户,我想预测的概率,打赌成真。我将从一个非常简单的二项式模型开始
P(bet = success | user = u and odds = o) = exp(1/o + b_u) / (1 + exp(1/o + b_u) )
因此logit概率截获在概率由投注网站(1/赔率)决定,并有一个来自用户的附加效应,所以我最终得到了30.000个参数。在
我打算在python或R中使用logistic回归估计参数。在python中使用patsy
(创建designmatrix)或R中的glm
会遇到内存问题。有人对如何解决这个问题有什么建议吗?在
以下是我如何理解你的问题。你有一个拥有350万赌注的数据集,来自30000个用户。每次下注都有一个明确的结果(用户下注的内容)和一个实际结果。你想预测声明的结果和实际的结果是否相同,即用户是否获胜。在
所以你有(至少)2个预测变量:投注网站给出的赔率和用户ID,后者是一个有30000个级别的因子。您可以将数据表示为350万x3数据帧:}。然后用glmnet拟合一个弹性网络模型,因为你有~30k的回归系数和某种形式的正则化可能不是个坏主意。在
win
、odds
和{第一个问题是,创建模型矩阵以适应模型将消耗大量内存。幸运的是,glmnet提供了使用稀疏模型矩阵的选项,因此只需要大量但仍然合理的内存量。在
第二个问题是,至少在R中,即使你有足够的内存,创建模型矩阵也可能比拟合模型本身花费更多的时间。在
您可以使用glmnetUtils包来解决这些问题。glmnetUtils是glmnet的一个外壳,可以简化建模;它支持一个公式接口,还可以简化像这样的大数据集的处理。特别是,它绕过了上面提到的R的内置模型矩阵功能的局限性。在
样本代码:
在这里,我用问题中给出的维度生成一个示例数据框。然后我拟合了一个正则logistic回归,它需要大约30秒。我还做了10倍交叉验证来选择弹性净收缩参数,大约需要6分钟。在
披露:我是glmnetUtils的作者。在
相关问题 更多 >
编程相关推荐