从许多文件中,我学到了岭回归的诀窍,即:
loss_Ridge = loss_function + lambda x L2 norm of slope
套索回归的方法是:
loss_Lasso = loss_function + lambda x L1 norm of slope
当我读到“TensorFlow Machine Learning Cookbook”中的主题“实现套索和岭回归”时,作者解释说:
"...we will use a continuous approximation to a step function, called the continuous heavy step function..."
它的作者还提供了几行代码here。 我不明白在这种情况下,哪个叫做连续重步函数。请帮帮我。你知道吗
如果要使用套索回归对特征进行规格化,这里有一个示例:
从你提供的链接中
这个
heavyside_step
函数非常接近于logistic函数,而logistic函数又可以是阶跃函数的连续近似。你知道吗使用连续近似是因为损失函数需要相对于模型的参数是可微的。你知道吗
要获得关于约束公式的直觉,请阅读https://www.cs.ubc.ca/~schmidtm/Documents/2005_Notes_Lasso.pdf中的第1.6节
您可以在代码中看到,如果A<;0.9,则正则化参数消失,因此优化将在该范围内约束A。你知道吗
相关问题 更多 >
编程相关推荐