推荐系统TOP-K指标AUC和CTR指标AUC的异同

2024-01-27 01:08

本文主要是介绍推荐系统TOP-K指标AUC和CTR指标AUC的异同,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

AUC指标

推荐系统的两个阶段:

推荐系统可以分为两个阶段

  • 召回阶段,即TOP-K任务(粗排)
  • 精排阶段,即CTR任务

召回阶段是为每一个用户在成千上万的待选item中推荐排名前K个的候选item
精排阶段是对在召回阶段的K个的候选item的基础上,预测特定的user点击特定的item的概率,此结果对广告商精准投放广告产生直接影响,直接关系着广告的盈利。

分成两阶段的原因: 如果直接对待选item进行精排,由于待选item规模大,用户群体规模大,则服务端时间开销过大,无法正常提供服务,召回阶段将待排序的item范围缩小到排名前K个的候选item,然后再进行排序输出,是服务器负载和推荐精度之间的一个平衡。

我读了一些召回TOP-K的论文和精排CTR论文,发现TOP-K的AUC指标和CTR的AUC指标稍有不同

  • TOP-K问题的AUC区分用户,为每一个用户计算AUC然后再取平均, A U C = 1 ∣ U ∣ ∑ a u c u AUC=\frac{1}{|U|}\sum auc_u AUC=U1aucu
  • CTR问题的AUC则是没有区分用户,而是专注于整体样本,直接计算一个整体AUC。
  1. TOP-K AUC详解:
    A U C = 1 ∣ U ∣ ∑ u ∈ U 1 ∣ E ( u ) ∣ ∑ i , j ∈ E ( u ) δ ( x u i > x u j ) AUC=\frac{1}{|U|}\sum_{u\in U} \frac{1}{|E(u)|} \sum_{i,j\in E(u)}\delta(x_{ui} > x_{uj}) AUC=U1uUE(u)1i,jE(u)δ(xui>xuj)
    E ( u ) = { i , j ∣ i ∈ 命 中 的 i t e m , j ∈ 未 命 中 的 i t e m } E(u)=\{i,j|i\in命中的item,j\in未命中的item\} E(u)={i,jiitemjitem}
    自己实现版本
def get_auc(item_score, user_pos_test):''':param item_score: dict:item2score 待选item的预测评分:param user_pos_test: user在测试集中真实交互的item:return: auc'''item_score = sorted(item_score.items(), key=lambda kv: kv[1])item_score.reverse()ranked_items = [x[0] for x in item_score]pre = [x[1] for x in item_score]r = []for i in ranked_items:if i in user_pos_test:r.append(1)else:r.append(0)num_rele_items = sum(r)num_eval_items = len(item_score)num_eval_pairs = (num_eval_items - num_rele_items) * num_rele_itemsif num_eval_pairs == 0:return 0.5num_correct_pairs = 0hits = 0# for item_id in ranked_items:#     if item_id not in user_pos_test:#         num_correct_pairs += hits#     else:#         hits+=1for i in range(len(r)):if r[i]==0: num_correct_pairs += hitselse :      hits+=1auc = (num_correct_pairs + 0.0) / num_eval_pairsreturn auc

调用sklearn版

from sklearn.metrics import roc_auc_score
def get_auc(item_score, user_pos_test):''':param item_score: dict:item2score 待选item的预测评分:param user_pos_test: user在测试集中真实交互的item:return: auc'''items = item_score.keys()pre = item_score.values()r = []for i in items:if i in user_pos_test:r.append(1)else:r.append(0)auc = roc_auc_score(ground_truth=r, prediction=pre)return auc
  1. CTR AUC详解:
    CTR问题可以视为二分类问题,标签0代表用户没有点击item,标签1代表用户点击了item,我们的任务是输出用户点击item的概率。
    CTR样本的格式如下:
useriditemidlabel
A11
A30
A21
B10
C31
C21
def get_auc(y_ture, y_pre):''':param y_ture: 正确的0、1标签:param y_pre:  预测的点击概率:return: '''auc = roc_auc_score(y_true=y_ture, y_score=y_pre)return auc

对TOP-K的AUC指标,CTR的AUC指标,还没有找到很合适的资料,文章也写得很乱,还需要继续完善。

这篇关于推荐系统TOP-K指标AUC和CTR指标AUC的异同的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/648618

相关文章

Linux系统之authconfig命令的使用解读

《Linux系统之authconfig命令的使用解读》authconfig是一个用于配置Linux系统身份验证和账户管理设置的命令行工具,主要用于RedHat系列的Linux发行版,它提供了一系列选项... 目录linux authconfig命令的使用基本语法常用选项示例总结Linux authconfi

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

Nginx配置系统服务&设置环境变量方式

《Nginx配置系统服务&设置环境变量方式》本文介绍了如何将Nginx配置为系统服务并设置环境变量,以便更方便地对Nginx进行操作,通过配置系统服务,可以使用系统命令来启动、停止或重新加载Nginx... 目录1.Nginx操作问题2.配置系统服android务3.设置环境变量总结1.Nginx操作问题

Vue项目的甘特图组件之dhtmlx-gantt使用教程和实现效果展示(推荐)

《Vue项目的甘特图组件之dhtmlx-gantt使用教程和实现效果展示(推荐)》文章介绍了如何使用dhtmlx-gantt组件来实现公司的甘特图需求,并提供了一个简单的Vue组件示例,文章还分享了一... 目录一、首先 npm 安装插件二、创建一个vue组件三、业务页面内 引用自定义组件:四、dhtmlx

CSS3 最强二维布局系统之Grid 网格布局

《CSS3最强二维布局系统之Grid网格布局》CS3的Grid网格布局是目前最强的二维布局系统,可以同时对列和行进行处理,将网页划分成一个个网格,可以任意组合不同的网格,做出各种各样的布局,本文介... 深入学习 css3 目前最强大的布局系统 Grid 网格布局Grid 网格布局的基本认识Grid 网

前端 CSS 动态设置样式::class、:style 等技巧(推荐)

《前端CSS动态设置样式::class、:style等技巧(推荐)》:本文主要介绍了Vue.js中动态绑定类名和内联样式的两种方法:对象语法和数组语法,通过对象语法,可以根据条件动态切换类名或样式;通过数组语法,可以同时绑定多个类名或样式,此外,还可以结合计算属性来生成复杂的类名或样式对象,详细内容请阅读本文,希望能对你有所帮助...

Python爬虫selenium验证之中文识别点选+图片验证码案例(最新推荐)

《Python爬虫selenium验证之中文识别点选+图片验证码案例(最新推荐)》本文介绍了如何使用Python和Selenium结合ddddocr库实现图片验证码的识别和点击功能,感兴趣的朋友一起看... 目录1.获取图片2.目标识别3.背景坐标识别3.1 ddddocr3.2 打码平台4.坐标点击5.图

Java中实现订单超时自动取消功能(最新推荐)

《Java中实现订单超时自动取消功能(最新推荐)》本文介绍了Java中实现订单超时自动取消功能的几种方法,包括定时任务、JDK延迟队列、Redis过期监听、Redisson分布式延迟队列、Rocket... 目录1、定时任务2、JDK延迟队列 DelayQueue(1)定义实现Delayed接口的实体类 (

shell脚本自动删除30天以前的文件(最新推荐)

《shell脚本自动删除30天以前的文件(最新推荐)》该文章介绍了如何使用Shell脚本自动删除指定目录下30天以前的文件,并通过crontab设置定时任务,此外,还提供了如何使用Shell脚本删除E... 目录shell脚本自动删除30天以前的文件linux按照日期定时删除elasticsearch索引s

在不同系统间迁移Python程序的方法与教程

《在不同系统间迁移Python程序的方法与教程》本文介绍了几种将Windows上编写的Python程序迁移到Linux服务器上的方法,包括使用虚拟环境和依赖冻结、容器化技术(如Docker)、使用An... 目录使用虚拟环境和依赖冻结1. 创建虚拟环境2. 冻结依赖使用容器化技术(如 docker)1. 创