Learning a Deep Listwise Context Model for Ranking Refinement

2023-12-30 16:58

本文主要是介绍Learning a Deep Listwise Context Model for Ranking Refinement,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

总结

不同query对应的doc分布可能不同,不能使用global打分函数(对query, doc建模),而要对(打分,doc)建模。

步骤

  1. 传统l2r,得到打分
  2. 对打分rnn编码,query-specific ranking,attention loss
  3. 根据2的结果re-rank

细节

传统l2r打分
传统排序策略,认为可以找到一个global function f ( x ( q , d ) ) f(x_{(q, d)}) f(x(q,d))满足: y ( q , d ) ← f ( x ( q , d ) ) y_{(q, d)} \leftarrow f(x_{(q, d)}) y(q,d)f(x(q,d)),loss一般是:
L = ∑ q ∈ Q l ( { y ( q , d ) , f ( x ( q , d ) ) ∣ d ∈ D } ) \mathcal{L} = \sum_{q \in Q} l(\{ y_{(q,d)}, f(x_{(q, d)}) | d \in D \}) L=qQl({y(q,d),f(x(q,d))dD})
传统算法忽略了不同query召回的doc其实分布不太相同,所以考虑更改loss为:
L = ∑ q ∈ Q l ( { y ( q , d ) , ϕ ( x ( q , d ) , I ( R q , X q ) ) ∣ d ∈ D } ) \mathcal{L} = \sum_{q \in Q} l(\{ y_{(q,d)}, \phi(x_{(q, d)}, I(R_q, X_q)) | d \in D \}) L=qQl({y(q,d),ϕ(x(q,d),I(Rq,Xq))dD})
其中:

  1. R q = { d sorted by  f ( x ( q , d ) ) } R_q = \{ \text{d sorted by }f(x_{(q, d)}) \} Rq={d sorted by f(x(q,d))}
  2. X q = { x ( q , d ) ∣ d ∈ R q } X_q = \{ x_{(q,d)} | d \in R_q \} Xq={x(q,d)dRq}
  3. I ( R q , X q ) I(R_q, X_q) I(Rq,Xq)是传统打分模型打的分

不引入新特征,对原特征做交叉
对打分rnn编码,query-specific ranking,attention loss
对原rank出的top n个item,用rnn(gru,单向)
新结果re-rank
新的rank模型,使用原rank feature+rnn hidden output

loss function
listMLE
SoftRank
attention rank

实验

dataset:Microsoft 30k、Microsoft 10k、Yahoo! Webscope v2.0,自带打分的数据集
baseline:SVMrank、LambdaMART
评估指标
NDCG@10
ERR/Expected Reciprocal Rank:预期的倒数排名,表示用户的需求被满足时停止的位置的倒数的期望

这篇关于Learning a Deep Listwise Context Model for Ranking Refinement的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/553470

相关文章

MVC(Model-View-Controller)和MVVM(Model-View-ViewModel)

1、MVC MVC(Model-View-Controller) 是一种常用的架构模式,用于分离应用程序的逻辑、数据和展示。它通过三个核心组件(模型、视图和控制器)将应用程序的业务逻辑与用户界面隔离,促进代码的可维护性、可扩展性和模块化。在 MVC 模式中,各组件可以与多种设计模式结合使用,以增强灵活性和可维护性。以下是 MVC 各组件与常见设计模式的关系和作用: 1. Model(模型)

简单的Q-learning|小明的一维世界(3)

简单的Q-learning|小明的一维世界(1) 简单的Q-learning|小明的一维世界(2) 一维的加速度世界 这个世界,小明只能控制自己的加速度,并且只能对加速度进行如下三种操作:增加1、减少1、或者不变。所以行动空间为: { u 1 = − 1 , u 2 = 0 , u 3 = 1 } \{u_1=-1, u_2=0, u_3=1\} {u1​=−1,u2​=0,u3​=1}

简单的Q-learning|小明的一维世界(2)

上篇介绍了小明的一维世界模型 、Q-learning的状态空间、行动空间、奖励函数、Q-table、Q table更新公式、以及从Q值导出策略的公式等。最后给出最简单的一维位置世界的Q-learning例子,从给出其状态空间、行动空间、以及稠密与稀疏两种奖励函数的设置方式。下面将继续深入,GO! 一维的速度世界 这个世界,小明只能控制自己的速度,并且只能对速度进行如下三种操作:增加1、减

context:component-scan使用说明!

<!-- 使用annotation 自动注册bean, 并保证@Required、@Autowired的属性被注入 --> <context:component-scan base-package="com.yuanls"/> 在xml配置了这个标签后,spring可以自动去扫描base-pack下面或者子包下面的java文件,如果扫描到有@Component @Controll

React的context学习总结

context是干什么的?为什么会存在这么一个东西? context字面意思是上下文,在react中存在是为了解决深层次组件传值困难的问题 这里涉及到组件的传值问题,大体商说分三总:兄弟间传值(通过父组件),父往子传值(通过props),子往父传(props函数回调),这是基础的传值问题,但是如果组件嵌套的太深,那么传值就变的非常麻烦,为了解决这样的问题才产生了context  这是cont

Deep Ocr

1.圈出内容,文本那里要有内容.然后你保存,并'导出数据集'. 2.找出deep_ocr_recognition_training_workflow.hdev 文件.修改“DatasetFilename := 'Test.hdict'” 310行 write_deep_ocr (DeepOcrHandle, BestModelDeepOCRFilename) 3.推理test.hdev

diffusion model 合集

diffusion model 整理 DDPM: 前向一步到位,从数据集里的图片加噪声,根据随机到的 t t t 决定混合的比例,反向要慢慢迭代,DDPM是用了1000步迭代。模型的输入是带噪声图和 t,t 先生成embedding后,用通道和的方式加到每一层中间去: 训练过程是对每个样本分配一个随机的t,采样一个高斯噪声 ϵ \epsilon ϵ,然后根据 t 对图片和噪声进行混合,将加噪

兔子--The method setLatestEventInfo(Context, CharSequence, CharSequence, PendingIntent) from the type

notification.setLatestEventInfo(context, title, message, pendingIntent);     不建议使用 低于API Level 11版本,也就是Android 2.3.3以下的系统中,setLatestEventInfo()函数是唯一的实现方法。  Intent  intent = new Intent(

大语言模型的上下文窗口(Context Windows):对人工智能应用的影响

大语言模型(LLMs)极大地提升了人工智能在理解和生成类人文本方面的能力。其中一个影响其效用的基本方面是它们的 “上下文窗口”—— 这个概念直接影响着这些模型接收和生成语言的有效性。我将深入探讨上下文窗口是什么、它们对人工智能应用的影响以及组织在利用大语言模型时的一些考量。 澳鹏在提升大语言模型开发方面处于领先地位,提供一系列对超越当前性能基准至关重要的服务。我们专注于大语言模型创建的复杂细节,

Learning Memory-guided Normality for Anomaly Detection——学习记忆引导的常态异常检测

又是一篇在自编码器框架中研究使用记忆模块的论文,可以看做19年的iccv的论文的衍生,在我的博客中对19年iccv这篇论文也做了简单介绍。韩国人写的,应该是吧,这名字听起来就像。 摘要abstract 我们解决异常检测的问题,即检测视频序列中的异常事件。基于卷积神经网络的异常检测方法通常利用代理任务(如重建输入视频帧)来学习描述正常情况的模型,而在训练时看不到异常样本,并在测试时使用重建误