用深度Q网络玩电子游戏

2023-11-03 07:40
文章标签 深度 网络 电子游戏

本文主要是介绍用深度Q网络玩电子游戏,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

TB114OaJ7voK1RjSZFwXXciCFXa.jpg

本文为 AI 研习社编译的技术博客,原标题 :

Beating Video Games with Deep-Q-Networks

作者 | Liam Hinzman

翻译 | ceroo           

校对 | 斯蒂芬•二狗子        审核 | 酱番梨       整理 | 立鱼王

原文链接:

https://towardsdatascience.com/beating-video-games-with-deep-q-networks-7f73320b9592

我爱死玩电子游戏了。 

我每天都玩,然而,乒乓球我连10岁妹妹都打不赢。

蛮挫败的,所以我决定建立一个深度Q网络,用这个网络学习如何在任一电子游戏中打败我的妹妹。 

经过几天的不间断编程(夜不能寐),这就是我用Deep-Q-Networks所能达成的实践:

TB1dhAuKCzqK1RjSZPxXXc4tVXa.gif

偷偷看下我的DQN模型的结果(绿色球拍)

  绿色球拍由DQN模型控制,完全靠它自我对弈 ,以此学习如何玩乒乓球。

随后,我会详细说说我的结果,但首先...

什么是DQN(Deep-Q-Networks),它是如何工作的?

简单说:DQN结合了深度学习和强化学习来学习如何玩电子游戏,并超过人类水平。

TB1nw.EKwHqK1RjSZJnXXbNLpXa.jpg

DQNs结合强化学习和深度学习来玩视频游戏

你所需要知道的是,深度学习(理解DQN)是一种使用神经网络来模仿人类大脑工作的计算架构。其中,神经网络的输入和输出都是数字。神经网络可以学习像房价预测或识别肿瘤图像等任务。

现在,我们继续回到DQN这条主线...

  快速学会强化学习

那么什么是强化学习呢?

强化学习是一种机器学习技术,它通过采取行动来学习如何最大化奖励。

一条狗可能会尝试学习,如何最大限度地通过它的吠叫来诱导主人抚摸它的肚皮,或一只猫可能会尝试学习,如何最大限度地通过它的跳跃“作”得一手好死。这两种动物都是根据它们当前的状态采取行动的智能体,试图最大化某种奖励。

让我们更深入地了解这些术语对于一个“吃豆人”游戏的含义。

TB15lZBKrrpK1RjSZTEXXcWAVXa.gif

PacMan(吃豆人)(黄色圆圈)是智能体,这是玩家在游戏中控制的。状态一般指是游戏中的某个一个时刻,在这里状态是游戏中的某一帧。智能体可以选择进入哪个方向(操作),并使用这些操作来避免死于鬼魂(负奖励)和吃更多的点(正奖励)。PacMan的目标是最大化你的得分(奖励)。

重要的强化学习术语

Agent  智能体:计算机控制的内容(pac man) 

State   状态:游戏中的当前时刻(PacMan中的单帧图像) 

Action 行动:由代理人作出的决定(PAC人员向左或向右移动) 

Reward 奖励: 智能体试图最大化的价值(在pac man中得分)

你还需要了解一件关于强化学习理解深层Q网络的事情:Q值

Q值,即深度Q网络中的Q值,是一个动作在给定状态下的“质量”。如果一个行动具有高的预期长期价值,那么它就是高质量的。

睡前给妈妈一个拥抱(动作)可能不会马上给我“奖励”,但从长远来看,它会给我很多爱(奖励),所以这个状态动作对的Q值很高(我在心里计算每晚拥抱妈妈的Q值)。

你需要知道这些强化学习的概念,并以此了解DQN!

   深入深度Q网络

那么,我是如何让一台电脑学习如何比别人更好地玩电子游戏的(并在乒乓球中击败我的妹妹)?

我使用DQN网络!

DQNs使用Q-learning学习给定状态下要采取的最佳行动(q值),并使用卷积网络作为Q-learning的近似值函数。

以下是要记住的关键点:

深度学习+强化学习=深度Q网络(DQN)

而不是为屏幕上的每个像素组合记忆不同的Q值(有十亿!)我们使用卷积网络在相似状态下推理出类似的Q值。

卷积网络可以告诉玩电子游戏的'Agent':“是的,这个位置基本上和另一个相同,向上移动”。这使得'Agent'的工作变得容易多了。它不需要数十亿个不同游戏状态的Q值才能学会,只需要几百万个Q值来学习。

下面是我的DQN的卷积网络在代码中的样子:

TB1XgMBKpzqK1RjSZFoXXbfcXXa.png

下面是此代码块的作用:

将当前屏幕(状态)作为输入 

通过3个卷积层传递输入(用于在图像中查找位置图案) 

注意:不使用池化操作(空间位置在游戏中很重要,我们想知道球在哪里!) 

卷积层的输出被送入2个全连接层。 

线性层的输出则给出了DQN在当前状态下采取某种行动的概率。

  预处理

我也做了一些游戏图像的预处理。Atari游戏通常是210x160像素大小,有128种不同的颜色。为了使我的DQN的工作更容易,我将图像的采样率降低到84x84,并使其灰度化。

TB14cgsKwDqK1RjSZSyXXaxEVXa.jpg

预处理过图像不再明亮和多彩,但更容易被我的DQN识别。

  损失函数

现在我们需要一些方法来评估DQN。情况如何?它在学习什么吗?我们如何调整它使它更好,得到更高的分数?

要知道所有这些,我们需要一个损失函数。

唯一的问题是我们不知道最好的答案是什么,agent应该做什么。DQN如何学习才能比人类玩的更好,因此即使我们想模型达到这样,我们也无法制作出完美的标记数据集。

相反,我们使用这个损失方程来评估DQN自身:

TB1yIszKyrpK1RjSZFhXXXSdXXa.jpg

DQN的损失函数

这个Q网络Q-Network是给出要采取什么行动的网络。目标网络Target Network是给出我们使用的“ground truth”的近似值。

如果Q-Network预测在某一状态下的正确动作是以60%的确定性(概率)向上移动,而目标网络告诉我们“你应该向上移动”,我们将使用反向传播调整Q-Network的参数,使其更可能预测在该状态下的“向上移动”。

我们通过DQN反向传播这种损失,并稍微调整Q网络的权重以减少损失。

该损失函数试图使DQN输出的移动概率更接近于目标网络给出的“正确选择”,即接近100%确定性。

  经验回放

现在DQNs好像就是Q学习和卷积网络的结合,基本上可以这样看。这个想法很简单,为什么它只在2015年被DeepMind研究人员引入?

神经网络不能很好地进行强化学习。

为什么神经网络和强化学习不能融洽相处?

两个原因

高度相关数据

非平稳分布

在有监督学习中,数据是不相关和固定的。当图像分类器正在学习什么使一只猫成为一只猫时,显示给它的每个图像都将显著不同,数据是不相关的。此外,网络的预测(通常)不会影响下一步将看到的图像,数据集是固定的,并且是从中随机抽样的。静止的不相关数据与神经网络很好地配合。

在强化学习中,数据是高度相关和非平稳的。当pac man移到右边时,板看起来基本相同,数据高度相关。此外,网络的决定影响下一个状态,这使得数据分布非平稳。如果马里奥右移,他会看到新的硬币。这些硬币会让马里奥认为向右移动总是个好主意,也许他永远不会发现他左边的秘密通道。

经验回放Experience Replay让神经网络能很好地进行强化学习。

‘Agent’获得的每个经验(包括当前状态、动作、奖励和下一个状态)都存储在所谓的经验回放内存中。

这种训练方式与DQN网络在当前学习中所获得样本来训练不同,是从重放存储器中随机抽取“回放”来训练网络。

TB17vsxKAvoK1RjSZPfXXXPKFXa.jpg

经验回放让深度学习和强化学习成为兄弟。

与标准Q学习相比,经验回放有三个优势:

更高数据利用

使数据不相关

平均数据分布

首先,每个经验都可能被用于对DQN的神经网络进行多次训练,从而提高数据效率。

第二,随机抽取经验样本对DQN神经网络进行训练,打破了经验之间的相关性,减少了训练更新时的方差。

第三,当从经验中学习时,一旦获得经验(称为策略学习),当前参数就决定了参数所训练的下一个数据样本。例如,如果最好的行动是将Pac Man向左移动,那么训练样本将由来自经验池中向左运动相关样本为主。

这种行为可能会导致DQN陷入糟糕的局部最小值,甚至使其发生灾难性的偏离(比我更糟糕)。

TB1JyAGKAvoK1RjSZFwXXciCFXa.jpg

如果你不使用经验回放,模型会经常看到这个画面。

通过使用经验回放,用来训练DQN的经验来自许多不同的时间点。这样可以消除学习障碍,避免灾难性的失败。

这种简单的经验概念解决了神经网络在强化学习中的问题。现在他们可以融洽相处地一起玩了!

  击败电子游戏

我在pytorch创建了一个DQN,并训练它玩乒乓球。

起初,我的DQN只能随意地玩乒乓球,但经过3个小时的训练,它学会了如何比人类玩得更好!

TB1dhAuKCzqK1RjSZPxXXc4tVXa.gif

绿色桨是由我的超级棒DQN控制的

最疯狂的事情是我不需要更改一行代码就可以训练DQN来玩另一个游戏,并且,就可以在该游戏中到达超过人类的游戏水平。

这意味着,同样的算法,教计算机控制这个绿色的乒乓球拍,也可以教计算机如何在毁灭战士中射击恶魔。

TB1jlIzKwHqK1RjSZFgXXa7JXXa.gif

DQN最酷的一点是他们可以学习我甚至不知道的游戏策略。在款游戏beakout中,DQN学会怎么样绕过边路快速到达顶部,并获得大量的积分。

我创造了这个DQN,它学到了我甚至不知道的东西!

TB1sIoBKxTpK1RjSZFMXXbG_VXa.gif

DQN可以发现其创建者从未知道的策略!

这意味着计算机现在可以帮助我们学习最喜爱的电子游戏的新策略。也许DQNS会想办法在《超级马里奥兄弟》中快速到达World 9关卡。

  关键的收获

使用DQNs电脑可以学习如何比人类更好地玩电子游戏。

在DQNs中,经验回放让神经网络和强化学习协同工作。

DQN可以学习他们的创建者不知道的策略。

有了DQNs,我可以在和ai玩电子游戏时打败我10岁的妹妹,那么下一步该怎么办呢?

也许我会训练一个人工智能来说服她把电视遥控器给我(这是一项更艰巨的任务)。

  最后

在 Google Colab  查看我的DQN的所有代码

访问我的个人网站

注册我的每月通讯

感谢 Aadil A..

想要继续查看该篇文章相关链接和参考文献?

点击【用深度Q网络玩电子游戏】或长按下方地址:

https://ai.yanxishe.com/page/TextTranslation/1512

AI研习社今日推荐:雷锋网(公众号:雷锋网)雷锋网雷锋网

伯克利大学 CS 294-112 《深度强化学习课程》为官方开源最新版本,由伯克利大学该门课程授课讲师 Sergey Levine 授权 AI 研习社翻译。

加入小组免费观看视频:https://ai.yanxishe.com/page/groupDetail/30

TB1fosyKpzqK1RjSZSgXXcpAVXa.jpg

这篇关于用深度Q网络玩电子游戏的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/336637

相关文章

Python与DeepSeek的深度融合实战

《Python与DeepSeek的深度融合实战》Python作为最受欢迎的编程语言之一,以其简洁易读的语法、丰富的库和广泛的应用场景,成为了无数开发者的首选,而DeepSeek,作为人工智能领域的新星... 目录一、python与DeepSeek的结合优势二、模型训练1. 数据准备2. 模型架构与参数设置3

如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解

《如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别详解》:本文主要介绍如何通过海康威视设备网络SDK进行Java二次开发摄像头车牌识别的相关资料,描述了如何使用海康威视设备网络SD... 目录前言开发流程问题和解决方案dll库加载不到的问题老旧版本sdk不兼容的问题关键实现流程总结前言作为

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

最长公共子序列问题的深度分析与Java实现方式

《最长公共子序列问题的深度分析与Java实现方式》本文详细介绍了最长公共子序列(LCS)问题,包括其概念、暴力解法、动态规划解法,并提供了Java代码实现,暴力解法虽然简单,但在大数据处理中效率较低,... 目录最长公共子序列问题概述问题理解与示例分析暴力解法思路与示例代码动态规划解法DP 表的构建与意义动

Go中sync.Once源码的深度讲解

《Go中sync.Once源码的深度讲解》sync.Once是Go语言标准库中的一个同步原语,用于确保某个操作只执行一次,本文将从源码出发为大家详细介绍一下sync.Once的具体使用,x希望对大家有... 目录概念简单示例源码解读总结概念sync.Once是Go语言标准库中的一个同步原语,用于确保某个操

五大特性引领创新! 深度操作系统 deepin 25 Preview预览版发布

《五大特性引领创新!深度操作系统deepin25Preview预览版发布》今日,深度操作系统正式推出deepin25Preview版本,该版本集成了五大核心特性:磐石系统、全新DDE、Tr... 深度操作系统今日发布了 deepin 25 Preview,新版本囊括五大特性:磐石系统、全新 DDE、Tree

SSID究竟是什么? WiFi网络名称及工作方式解析

《SSID究竟是什么?WiFi网络名称及工作方式解析》SID可以看作是无线网络的名称,类似于有线网络中的网络名称或者路由器的名称,在无线网络中,设备通过SSID来识别和连接到特定的无线网络... 当提到 Wi-Fi 网络时,就避不开「SSID」这个术语。简单来说,SSID 就是 Wi-Fi 网络的名称。比如

Java实现任务管理器性能网络监控数据的方法详解

《Java实现任务管理器性能网络监控数据的方法详解》在现代操作系统中,任务管理器是一个非常重要的工具,用于监控和管理计算机的运行状态,包括CPU使用率、内存占用等,对于开发者和系统管理员来说,了解这些... 目录引言一、背景知识二、准备工作1. Maven依赖2. Gradle依赖三、代码实现四、代码详解五

Node.js 中 http 模块的深度剖析与实战应用小结

《Node.js中http模块的深度剖析与实战应用小结》本文详细介绍了Node.js中的http模块,从创建HTTP服务器、处理请求与响应,到获取请求参数,每个环节都通过代码示例进行解析,旨在帮... 目录Node.js 中 http 模块的深度剖析与实战应用一、引言二、创建 HTTP 服务器:基石搭建(一

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码: 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口,https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor