Value-Based Reinforcement Learning（2）

最新推荐文章于 2024-07-24 21:01:17 发布
最新推荐文章于 2024-07-24 21:01:17 发布
阅读量153 收藏
点赞数 3
分类专栏： 强化学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangsj1007/article/details/139220535
版权

Temporal Difference （TD） Learning

上节已经提到了如果我们有DQN，那么agent就知道每一步动作如何做了，那么DQN如何训练那？这里面使用TD算法。

简略分析：

U_{t} = R_t +\gamma R_{t+1} +\gamma ^2R_{t+2} + \gamma^3R_{t+3} + ... \newline U_t = R_t + \gamma U_{t+1}

Q(s_t, a_t;w)是E(U_t)的估计

Q(s_{t+1}, a_{t+1}; w)是E(U_{t+1})的估计

所以：

Deep Reinforcement Learning :  Q(s_t, a_t; w) \approx r_t + \gamma * Q(s_{t+1}, a_{t+1}; w)

Prediction  ： Q(s_t, a_t;w_t)

TD Target : y_t = r_t + \gamma Q(s_{t+1}, a_{t+1};w_t)

Loss ： L_t = 1/2 [Q(s_t, a_t;w_t) - y_t]^2

Gradient Desent : w_{t+1} = w_{t}- \alpha \frac{\partial L_t}{\partial w}|w=w_t，做梯度下降是为了让loss减少

Happy_Traveller
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Continuous Deep Q-Learning with Model-based Acceleration
03-02
Model-free reinforcement learning has been successfully applied to a range of challenging problems, and has recently been extended to handle large neural network policies and value functions....
Reinforcement learning合集
04-25
Deep Reinforcement Learning Hands-On_ Apply modern RL methods, with deep Q-networks, value iteration, policy gradients, TRPO, AlphaGo Zero and more.pdf Hands-On Reinforcement Learning with Python_ ...
强化学习RL 02: Value-based Reinforcement Learning
天狼啸月1990的博客
02-27 673
DQN和TD更新算法。
价值学习（Value-based Reinforcement Learning）
weixin_44924725的博客
04-29 3104
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、价值学习（Value-based Reinforcement Learning）1.Deep Q-Network（DQN）2.训练DQN使用的算法3.TD learning for DQN总结 前言 讲完强化学习的基本概念，来介绍一下价值学习算法； 一、价值学习（Value-based Reinforcement Learning） 1.Deep Q-Network（DQN） 核心就是用神经网络去近似Q*（s,a）函数.
Value-based Reinforcement Learning
南极光的专栏
03-19 1807
不久前做了一个关于value-based RL相关的slides，主要讲解了基于值的强化学习方法的几个重要理论方法，同时讲解了Q-learning作为off-policy方法在学习过程中产生的bias的来源已经如何减轻的几种方法。 源文件： Github 讲义： PDF...
【强化学习-02】Value-based reinforcement learning
HsinglukLiu的博客
01-27 548
Value-based reinforcement learningValue-based reinforcement learningAction-value functionsDeep Q Network (DQN)训练神经网络的算法：`Temporal difference algorithm`一个例子Apply TD learning to DQNSummary参考文献 本文整理自教学视频 (作者: Shusen Wang)：https://www.bilibili.com/video/BV1rv4
强化学习RL 03: Policy-based Reinforcement Learning
天狼啸月1990的博客
02-27 473
用一个神经网络来近似策略函数π。
Model-Based Reinforcement Learning: Theory and Practice 译文
Dr.Zee的博客
07-15 893
目录Model-Based Reinforcement Learning: Theory and PracticeModel-based techniques**Analytic gradient computation****Sampling-based planning****Model-based data generation****Value-equivalence prediction**Trade-offs of model data**The Good News****The Bad New
【RLchina第四讲】Model-Based Reinforcement Learning
小小何先生的学习之旅
02-23 2565
文章目录Model-Based Reinforcement learningModel-Free RL V.S. Model-Based RLModel-Based RL：Blackbox and WhiteboxIntroduction to MBRL from DynaShooting methods：RS，PETS，POPLINRandom Shooting(RS)PETS：Probabilistic Ensembles with Trajectory SamplingPOPLINTheoretic
Value-Based Reinforcement Learning（1）
zhangsj1007的博客
05-26 178
Discounted Return（未来的reward，由于未来存在不确定性，所以未来的reward 要乘以。由于存在action，和state随机性，现在想消除随机性，可以求。可以给任意的动作打分，agent可以根据。，表达了action的随机性。（监督回报，用来训练DQN），表达了转移状态的随机性。的打分，做最有利的动作。，那么每一步最好的动作。(DQN给出) ->
Value-Based Reinforcement Learning-DQN
CltCj的博客
08-11 6938
强化学习 这一章会讲DQN算法，并且用TD算法来训练DQN。 强化学习入门这一篇就够了强化学习前言一、Action-Value Functions二、DQN2.1 游戏中agent的目标是什么？2.2 agent如何做决策？2.3 如何理解Q* 函数呢？2.5 DQN打游戏？三、如何训练DQN?3.1 TD算法3.2 TD算法训练DQN四、训练步骤六、总结 前言 说明一下：这是我的一个学习笔记，课程链接如下： 最易懂的强化学习课程 公众号：AI那些事 一、Action-Value Functio
Reinforcement Learning.pptx
06-18
增强学习（Reinforcement Learning，RL）是一种人工智能学习方法，其核心目标是让智能系统通过与环境的交互，学习如何做出最优的决策序列以最大化累积奖励。在这个过程中，智能体（agent）并不需要预先知道环境的...
Algorithms of Reinforcement Learning
02-23
1. **值函数方法（Value-based Methods）**：这类方法通过估计状态或状态-动作对的价值函数来指导行为选择。例如，Q-learning 和 SARSA 是两种典型的值函数方法。 2. **策略梯度方法（Policy Gradient Methods）**：...
Statistical Reinforcement Learning
12-16
statistical properties of estimating parameters for reinforcement learning, the book relates a number of different approaches across the gamut of learning scenarios. The algorithms are divided into ...
Python编程、机器学习与深度学习技术
2301_78164062的博客
07-24 757
Python编程、机器学习与深度学习技术
智能火焰监测系统：基于深度学习的实时火灾预警平台
最新发布
a871923942的博客
07-24 552
智能火焰监测系统：基于深度学习的实时火灾预警平台
深入理解深度学习中的“预测”与“计算”
qlkaicx的博客
07-24 561
在探讨深度学习和人工智能的应用时，**“预测”**这个词经常被提及。很多时候，人们对预测的理解可能会带有一些误区，特别是当涉及到预测未来的事件或结果时。本文将详细探讨在Python深度学习框架中的预测概念，以及为什么说这仍然是“预测”，而不仅仅是简单的“计算”。
Mindspore框架循环神经网络RNN模型实现情感分类|（五）模型训练
人工智能视觉分析算法学习实践和经验分享。
07-24 192
Mindspore框架循环神经网络RNN模型实现情感分类|（五）模型训练与推理Mindspore框架循环神经网络RNN模型实现情感分类|（六）模型加载和推理（情感分类模型资源下载）
development of multi-agent reinforcement learning
03-30
Multi-agent reinforcement learning (MARL) is a subfield of reinforcement learning (RL) that involves multiple agents learning simultaneously in a shared environment. MARL has been studied for several ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值