RM奖励模型用到的Elo评分系统

2023-10-14 10:30

本文主要是介绍RM奖励模型用到的Elo评分系统,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

你现在是大学教授,请详细讲述Elo排名,用公式表示

二、积分计算公式
Ra:A玩家当前的Rating
Rb:B玩家当前的Rating
Sa:实际胜负值,胜=1,平=0.5,负=0
Ea:预期A选手的胜负值,Ea=1/(1+10^[(Rb-Ra)/400])
Eb:预期B选手的胜负值,Eb=1/(1+10^[(Ra-Rb)/400])
因为E值也为预估,则Ea+ Eb=1

 

Elo排名系统是一种用于计算玩家相对技能水平的方法,通常用于竞技型游戏和运动比赛中。Arpad Elo博士最初设计了这个系统来评估国际象棋的玩家。

Elo系统的主要思想是:如果A在一场比赛中击败了B,那么系统将A的排名提高,B的排名降低。然而,改变的幅度取决于他们的预期胜率。如果A是高级选手,击败初级选手B,那么A的排名将稍微提高,B的排名将稍微降低。然而,如果B击败A,那么A的排名将大幅度下降,B的排名将大幅度上升。

Elo排名系统的基础公式如下:

1. 计算每位玩家的期望得分:

预期胜率:Ea = 1 / (1 + 10 ^ ((Rb - Ra) / 400)),同理,Eb = 1 / (1 + 10 ^ ((Ra - Rb) / 400))

 这里,Ra和Rb分别表示A和B的当前排名。Ea和Eb是A和B的预期胜率

 

2.排名更新:

新的Ra = 旧的Ra + K * (Sa - Ea),新的Rb = 旧的Rb + K * (Sb - Eb)

 

这里,K是K系数(一般取10到60,视具体情况而定),Sa和Sb是比赛结果(如果A赢了,Sa=1,Sb=0;如果B赢了,Sa=0,Sb=1;如果平局,Sa=Sb=0.5)。

  1. 其中R'_A和R'_B是更新后的Elo评分,S_A和S_B是实际得分(赢得比赛为1,平局为0.5,输掉比赛为0),K是影响评分变化幅度的系数。

K系数的选取

K系数的选择取决于一些因素,包括玩家的经验水平和比赛的重要性。选择合适的K值可以帮助Elo评分系统更好地反映玩家的实际实力。

K值较高(例如40)可能会使得玩家的评分波动性更高,更适合于初级或中级玩家,这样他们的评分可以更快地反映他们的技能提高。而K值较低(例如10或20)可能使评分更稳定,更适合于高级玩家。

在某些情况下,K值可以根据玩家的当前评分或比赛的类型进行调整。例如,对于国际象棋,初级玩家的K值可能为40,中级玩家的K值可能为20,而顶级玩家的K值可能为10。

记住,所有这些都只是一种近似的方式,试图量化玩家的实力。在现实中,任何比赛都有一定的随机性,所以任何评分系统都无法完全准确地反映玩家的实力。Elo评分系统只是一种尝试,试图通过历史比赛数据为每位玩家分配一个合理的评分。同时,由于每场比赛的结果都会影响玩家的Elo评分,因此这个系统也为比赛带来了额外的策略层面,玩家需要在维护或提高他们的Elo评分尝试新的策略之间进行权衡。"

以上就是Elo排名系统的基本原理和公式。

三、实例说明
若当前A玩家rating为1500,B玩家rating为1600
预估A玩家的胜负值Ea = 1/(1+10^[(1600-1500)/400])≈0.36
预估B玩家的胜负值Eb = 1-Ea = 1-0.36 = 0.64

假设A玩家获胜,实际胜负值为Sa = 1
A玩家最终得分为 R'a = 1500 + 32*(1-0.36) = 1500+20.5 = 1520,A玩家赢20分,B玩家输20分。

假设B玩家获胜,实际胜负值为Sa = 1
B队最终得分为 R'b = 1600 + 32*(1-0.64) = 1600 + 11.52 = 1612,B玩家赢12分,A玩家输12分。
PS:^符号代表次方运算。

四、天梯系统目的
1.保护新手不被有经验的玩家虐,让高手局中没有新手。
2.创造竞技和公平的游戏对局,使玩家的游戏乐趣最大化。
3.无需等待太久就能找到对手进入游戏。

五、具体实例
11对战平台的天梯实例。
下面的公式很好的说明了天梯积分的计算方法,而Si的计算则是取的ELO算法,虽然11的天梯还是存在Bug,但是不得不承认确实是很棒的设计。


 

公式里面除以400是什么原理

Elo的排名系统使用的公式中,除以400的部分,是为了将底数为10的对数尺度映射到合适的游戏或比赛的比例尺上。对于国际象棋来说,Arpad Elo选择了400,因为他发现这是一个适当的数值,使得一位排名高400分的棋手能以概率约0.75击败一位排名低400分的棋手。

为何选定400,具体原因还包括:在当时,棋手的排名在大约2000左右,他希望能有一个适当的区间,使得高手与新手之间的排名差距不会过大,也不会过小。而400这个数字可以满足他的需求。

然而,在其他的应用中,这个值可能会有所不同。例如,在线游戏可能会选择更大或更小的值,以适应更广泛的玩家群体和更快的游戏速度。

这篇关于RM奖励模型用到的Elo评分系统的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/209933

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

康拓展开(hash算法中会用到)

康拓展开是一个全排列到一个自然数的双射(也就是某个全排列与某个自然数一一对应) 公式: X=a[n]*(n-1)!+a[n-1]*(n-2)!+...+a[i]*(i-1)!+...+a[1]*0! 其中,a[i]为整数,并且0<=a[i]<i,1<=i<=n。(a[i]在不同应用中的含义不同); 典型应用: 计算当前排列在所有由小到大全排列中的顺序,也就是说求当前排列是第

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟&nbsp;开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚&nbsp;第一站:海量资源,应有尽有 走进“智听

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善,其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性, 将与教育相关的数据要素在区块链上进行存证确权,在确保数据可信的前提下,促进教育的公平、透明、开放,为教育教学质量提升赋能,实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护,支撑教育资源共享、教学质量评估、