本文主要是介绍LambdaMART的思想，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
LambdaMART的思想
2015-01-01 13:08 469人阅读 评论(0) 收藏 举报
本文章已收录于：
分类： 作者同类文章 X
版权声明：本文为博主原创文章，未经博主允许不得转载。
LambdaRank如何跟MART结合在一起的。
MART是一个经典的集成思想，多个弱分类器可以生成一个比他们都好的分类器。
MART思想：
主要来自这篇论文：
GREEDY FUNCTION APPROXIMATION:A GRADIENT BOOSTING MACHINE1
其思路来源于数值优化---梯度下降。在使用梯度下降时，更新函数的参数是，w= w-δw
从数值优化推广到函数空间的优化,可以得到δf, f= f-δf.
新生成的每个树h(x,m)需要跟-δf（f的梯度）之差最小（如果为0，则新生成的树就是所要求的梯度），第4行。
F（x） =F（x） + ρmh(x,m)，针对排序问题，F(x)代表x的评分，也就是y。
因此可以通过前面已生成的树(m-1)，就可以生成一棵新树δf(m).
LambdaRank的思路：
1.MART的F(xi)等价于LambdaRank的o(i)
F(xi)m=F(xi）m-1+newTree。
2.MART的L(yi,F(xi))等价于
指定的i，对应多个j,而yi,则根据输入的数据j，指定为1,或者-1.
这里的目标是求C的最大值。
输入某个si的具体计算过程：
lambdai就是si从newTree中获取的值，表示si的值如何调整才能满足C最大(类似梯度)。
将si= si+lambdai,代入到C中，并对Si求导，
公式里没有lambdai的原因：lambdai的初始值为0，并且只迭代一次。
备注：
根据Newton-Raphson，求函数最小值为：
这里求最大值，则用加。
根据输入（xi,lambdai),其中lambdai表示xi的调整方向（梯度）（例如:让排名最前的值越来越大，让排名最后的值越来越小），生成一棵指定节点个数的树，并给相应叶子节点赋予γkm的值，就可完成新树的生成。
个人总结：
1.LambdaMART 与LambdaRank和NetRank的训练方式不同
LambdaMART是通过boosting的方式，其score(xi)m = socre(xi)m-1 + newTree。
LambdaRank和NetRank则是通过训练神经网络的方式，直接通过对输出求到，然后再一层层求参数。
LambdaMART 和LambdaRank采用了相同的梯度lambdaij，并且都是为了求DNCG的最大值。
但是由于F(xi)的形式不一样，两者的训练方式不同，一个是神经网络的方式（LambdaRank），一个是回归树+梯度boosting的方式（LambdaMART ）。
LambdaMART是采用了Lambda的梯度形式和评估函数（ＮＤＣＧ），并用树的方式来计算。
这篇关于LambdaMART的思想的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
