本文主要是介绍AlphaGo首席研究员亲授！10张PPT介绍10大强化学习黄金法则！，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
来源：新智元
本文共多图，建议阅读10分钟。
为你分享Dave Silver在Deep Learning Indaba活动的主题演讲中归纳出的强化学习中要注意的10大要点。
[ 导读 ]近日，谷歌DeepMind强化学习研究团队负责人、AlphaGo项目首席研究员Dave Silver在Deep Learning Indaba活动的主题演讲中归纳出了强化学习中要注意的10大要点。一起来看看，也许能少走点弯路。
近日，在南非斯泰伦博斯举行的Deep Learning Indaba活动上，谷歌DeepMind强化学习研究团队负责人、AlphaGo项目首席研究员Dave Silver在主题演讲中归纳出强化学习中要注意的10大要点。
活动主办方将Dave Silver演讲的PPT截图和文字要点发在了推特上，引发了广泛讨论。
Silver的演讲中提出的强化学习10大要点涵盖涉及算法评估、状态控制、建模函数等方面的心得和建议，非常值得开发者和机器学习爱好者参考学习。一起看看他是怎么说的吧！
1、在评估中产生进步
客观、量化的估计会产生进步，对评估尺度的选择会决定进步的方向。这可能是项目推进过程中做出的最重要的决定。
目标驱动型研究：确认评估标准与最终目标密切相关。避免主观评估
假设驱动型研究：提出假设，在宽泛的条件下验证假设，与相似结果对比，而不是与最先进的结果对比。重要的是对结果的理解，而不是追求排名。
2、算法的可扩展性决定是否成功
算法的可扩展性是指其性能随资源的梯度变化。这里的资源可能是计算、存储和数据。算法的可扩展性决定了能否项目能否成功，它几乎永远比算法的起点重要。最终，好的算法总是无限资源条件下的最优解决方案。
3、稳定算法的通用性
算法通用性是指算法在不同深度学习环境下的表现。应避免对当前任务的过拟合。积极寻求可以适用于未来未知环境下的算法。
结论：要广泛验证，建立现实的机器学习环境。
4、 信任智能体的经验
经验（包括观察、动作、奖励）是指深度学习的数据。信任这些经验，将其作为唯一知识来源。尽管这些经验看上去不可学习，但最终长期来看，经验终将取得成功。
5、状态是主观的
智能体应该基于经验建立自身的状态，智能体的状态是关于其先前状态和新观察数据的函数。任何时候不要定义某一环境下的“真实”状态。
6、控制数据流
智能体处于大量数据流传感器环境中，智能体的行为会对数据流造成影响。
控制特征——控制数据流——控制未来——实现任何回报的最大化。
7、价值函数可以对世界建模
价值函数是对未来的高效归纳和缓存。多关注固定时间段的查找，而非指数级的前瞻。可以独立计算和学习。利用多价值函数可以在不同时间范围内，对世界各个方面进行高效建模。
应避免使用原始的时间步长对世界进行建模。
8、从想象的经验中进行学习
想象接下来会发生什么，从想象的经验中进行学习，同时关注在当前时刻的值函数估计。
9、加强函数逼近器
差异化网络架构是一种有力工具，可以用来:以丰富的方式表示状态，实现差异化存储、差异化规划、层级控制。
将算法的复杂性融入网络架构，可以降低算法的复杂度，增加网络架构的可表达性。
10、要学习“如何学习”
人工智能的发展史呈现出一条清晰的发展脉络。
第一代：“美好的”老式人工智能。手动控制预测，不学习任何内容。
第二代：浅度学习。手动控制特征，学习预测。
第三代：深度学习。手动控制算法（优化器、目标、架构），学习特征和端对端预测。
第四代：Meta学习。无手动环节，学习算法、特征和端对端预测。
参考链接：
https://twitter.com/DeepIndaba/status/1040234486250782721
这篇关于AlphaGo首席研究员亲授！10张PPT介绍10大强化学习黄金法则！的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
