对多智能体强化学习算法MADDPG的理解

已于 2023-02-04 16:48:23 修改
阅读量4.4k 收藏 11
点赞数 3
分类专栏： 强化学习 文章标签： 人工智能
于 2022-07-10 20:06:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhihao8013/article/details/125707813
版权
MADDPG的架构

MADDPG采用的是“中心化训练+去中心化决策”的架构，是一种Actor-Critic方法。其中每个智能体都有一个价值网络和策略网络。

价值网络和策略网络

  1. 第i号价值网络(Critic)
    输入：全局状态s、所有智能体的动作a（因为需要结合队友、对手的观测及动作才知道自身当前的动作好不好）
    输出：一个实数（表示基于全局状态s，第i号智能体执行动作ai的好坏程度，可以指导第i号策略网络作出改进）
    训练方式：TD算法
    训练第i号价值网络需要用四元组<st、at、rt、st+1>，具体来说用到了下一时刻的全局状态St+1，所有智能体的策略网络，t时刻的奖励以及第i号智能体的价值网络.

  2. 第i号策略网络(Actor)
    输入：第i号智能体的观测oi
    输出：第i号智能体的动作ai
    训练方式：DPG
    训练第i号策略网络需要用四元组<st、at、rt、st+1>，具体来说用到了全局状态St，所有智能体的策略网络以及第i号价值网络.

所有智能体的策略网络与第i号智能体的价值网络
在这里插入图片描述

阿豪Smoking hot
关注
  • 3
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
BioMARL:基于生物启发式算法的多智能体强化学习算法
03-27
BioMARL：基于生物启发式算法的多智能体强化学习算法 项目介绍： 多智能体系统（MAS）通过解决复杂任务的规模，可靠性和智能性，已被广泛的地面不同的应用领域，如计算机网络，机器人和智能电网等。和生产的重要因素。然而，以往的多代理通信研究主要是预先定义的通信协议或采用额外的决策模块进行通信调度，这将造成巨大的通信开销，并且不能直接推广到一个大型代理集合。了一个轻量级的通信框架：基于信息素协同机制的分布式深度Q网络算法（Pheromone协作深度Q网络，PCDQN） ，它结合了深度Q网络和stigmergy机制。我们证明了PCDQN框架的优越性，同时也将我们的模型转移到解决多代理路径搜索问题上。利用PCDQN框架，多代理编队能够学习适当的策略，成功地在雷区导航环境中获得最优路径。 实验环境 Windows10操作系统，8GB内存，2核Intel Core i7-6500U pytorch-
多智能体强化学习之MADDPG
weixin_44548214的博客
05-12 1万+
MADDPG（Multi-agent Deep Deterministic Policy Gradient） MADDPG可以看作三部分，首先是DPG（Deterministic Policy Gradient），然后是DDPG（Deep Deterministic Policy Gradient），最后是MADDPG（Multi-agent Deeep Deterministic Policy Gradient）。我们需要逐一了解。 1、什么是DPG？ DPG是在连续动作空间上采用确定策略进行Policy
MADDPG算法学习笔记（一）
weixin_47698927的博客
01-29 1317
相反，如果Critic给的分数低，那么就减少这个动作输出的概率。首先，用一张图来表示DDPG的整体结构，其中，S表示智能体状态，A表示智能体的动作，Q值为从任务开始到结束智能体状态的总奖励值。当我们把某个state输入到DDPG的Actor中的时候，相当于在这块布上做沿着state所在的位置剪开，这个时候大家会看到这个边缘是一条曲线。这个和之前DQN的更新公式非常像，只不过DQN的更新用了Q，而TD-error用的是V。如上图中的红色曲线，这条曲线指的是在某个状态下，选择某个动作值的时候，能获得的。
论文阅读-基于深度强化学习的方法解决多智能体防御和攻击问题
aaaccc444的博客
03-26 1348
本文从深度确定性策略梯度( DDPG )算法出发，引入多智能体深度确定性策略梯度（ MADDPG )算法来解决不同情况下的多智能体防御和攻击问题。我们重新构建所考虑的环境，重新定义连续状态空间，连续动作空间和奖励函数，然后应用深度强化学习算法来获得有效的决策策略。为了验证基于DRL的方法的可行性和有效性，进行了多个考虑不同对抗场景的实验。实验结果表明，通过学习智能体可以做出更好的决策，并且使用MADDPG进行学习比使用其他基于DRL的模型取得了更优越的性能，这也说明了掌握其他智能体信息的重要性和必要性。
深度解析OPENAI-MADDPG
Dr.Zee的博客
08-26 1万+
Zee带你看RL代码系列 学习强化学习，码代码的能力必须要出众，要快速入门强化学习 搞清楚其中真正的原理，读源码是一个最简单的最直接的方式。最近创建了一系列该类型文章，希望对大家有多帮助。 另外，我会将所有的文章及所做的一些简单项目，放在文章目录Zee带你看RL代码系列深度解析MADDPGMADDPG原理程序架构ENV 部分具体子环境Make_Worldreset world此外此函数中定义奖励 ...
maddpg-keras:在Keras中实现多代理深度确定性策略梯度（MADDPG）算法
04-10
马迪克-凯拉斯 在Keras中实现多代理深度确定性策略梯度（MADDPG）算法
MARL学习篇----MADDPG
qq_37395293的博客
04-02 1万+
MARL学习篇----MADDPG 前言 MADDPG是DDPG在多智能体任务中的一种扩展，其基础思想为：集中式学习，分散式执行（CTDE）。 简单来说，在训练的时候，引入可以观察全局的critic来指导actor训练，而测试的时候只使用有局部观测的actor采取行动。。你可以这么理解：每一个agent都有一个全知全能的老师指导，而在做决策的时候，agent只需要根据自己对环境的观察做出正确的动作。 这种思想简单粗暴但方法却行之有效，可见这其中的trick应该不少。 算法简介 传统强化学习方法很难用在mul
从代码到论文理解并复现MADDPG算法(基于飞桨的强化学习套件PARL)
热门推荐
zbp_12138的博客
07-19 2万+
MADDPG算法是强化学习的进阶算法,在读对应论文Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments的过程中,往往会遇到很多不是很好理解的数学公式,这篇文章旨在帮助读者翻过数学这座大山,从PARL的代码理解MADDPG算法。 把MADDPG拆分成多个算法 什么是多智能体?有哪些环境? 从PARL的代码解读MADDPG 复现“老鹰捉小鸡”的游戏环境 回归论文 1. 把MADDPG拆分成多个算法MADDPG的全称是
MADDPG分析及其更新策略见解
ZYunfei的博客
01-17 8514
引子   深度强化学习可以分为两类：单智能体算法和多智能体算法，单智能体算法从DQN开始有policy gradient、actor critic、dpg、ppo、ddpg、sac等等，它们解决的是环境中存在一个智能体的情况（或者是多个智能体可以转化为一个智能体决策的情况），但是在某些环境（environment）下，似乎单智能体算法就有些心有余而力不足，例如足球比赛亦或是追逐游戏。如果依旧对每个agent采用单智能体算法会出现如下情况：在第iii个agent做出动作aia_iai​的情况下由于其余agen
多智能体连续行为空间问题求解——MADDPG
qq_38638132的博客
05-25 6007
目录1. 问题出现：连续行为空间出现2. DDPG 算法2.1 DDPG 算法原理2.2 DDPG 算法实现代码 MADDPG 是一种针对多智能体、连续行为空间设计的算法。MADDPG 的前身是DDPG，DDPG 算法旨在解决连续性行为空间的强化学习问题，而 MADDPG 是在 DDPG 的基础上做了改进，使其能够适用于多智能体之间的合作任务学习。本文先从 DDPG 引入，接着再介绍如何在 DDPG 算法上进行修改使其变成 MADDPG 算法。 1. 问题出现：连续行为空间出现 Q-Learning 算
基于生物启发式算法的多智能体强化学习算法python源码+项目文档+详细注释+模型+示例图片.zip
04-10
基于生物启发式算法的多智能体强化学习算法python源码+项目文档+详细注释+模型+示例图片.zip 基于生物启发式算法的多智能体强化学习算法python源码+项目文档+详细注释+模型+示例图片.zip 基于生物启发式算法的多智能...
多智能体 机器学习算法
08-21
针对多智能体系统进行机器学习的思路和方法总结，可以参考
基于生物启发式算法的多智能体强化学习算法python实现源码+项目说明+模型及注释.zip
10-27
基于生物启发式算法的多智能体强化学习算法python实现源码+项目说明+模型及注释.zip ## 项目介绍： 多智能体系统(MAS)由于具有解决复杂任务的灵活性、可靠性和智能性，已被广泛地应用于不同的应用领域，如计算机网络...
【论文阅读】Bayesian Optimization Enhanced Deep Reinforcement Learning for Trajectory Planning and Network
小威的博客
10-21 278
《Bayesian Optimization Enhanced Deep Reinforcement Learning for Trajectory Planning and Network Formation in Multi-UAV Networks》 《用于多无人机网络轨迹规划与网络形成的贝叶斯优化增强的深度强化学习》IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY, VOL. 72, NO. 8, AUGUST 2023在本文中，我们采用了由一个基站（BS）协调的多
多智能体深度强化学习在移动边缘计算的联合多通道访问和任务卸载中的应用
Achang的博客
04-09 1125
对于每个MTA，actor网络的输入是它的状态，表示为si(t)，然后通过带有ReLU激活层的两层全连接网络。最终的输出动作是根据输出概率随机选择的，输出动作用长度为K+1的one-hot向量表示。最重要的原因是在训练过程中，对于每一个agent来说，其他agent都是环境的一部分，其他agent的变化会使环境变得不稳定，这就打破了Q-learning算法所需要的马尔可夫假设。然后，我们提出了一种基于 MADDPG 的算法，如算法 1 所示，应用于我们的问题，以便 MTA 可以学习合作策略并提高系统效率。
多智能体强化学习入门（四）——MADDPG算法
开贰锤
01-02 1万+
本节内容在https://zhuanlan.zhihu.com/p/53811876。
MADDPG论文学习
大鱼治不了水的博客
12-20 1645
摘要 传统算法用于多智能体环境下的困难： Q-learning受到环境不稳定性的挑战 策略梯度的方法随着智能体数量增加，方差变大。 本文的贡献： 提出了一种actor-critic方法的变种：在考虑其他智能体action-policy的同时，能够学习到需要多智能体的协同policy； 引入了一种训练方式，集成了各智能体的policy，来形成一个更加鲁棒的多智能体policy。 在既合作又竞争的场景下进行测试，验证在这种场景下，智能体集群能够学习到物理和信息层面的合作策略。 ...
多智能体强化学习算法MADDPG（一：由单智能体强化学习到多智能体强化学习）
qq_40089637的博客
09-05 9270
我，菜拐拐，今天又来了！废话少说，上重点。准备好课堂笔记┗|｀O′|┛ 嗷~~ 多智能体强化学习背景知识为什么提出多智能体DDPG（MADDPG）？学习MADDPG算法的先验知识？Q-LearningDQNSPGDPGDDPG由DDPG算法到MADDPG算法？MADDPG算法的巧妙之处？ 为什么提出多智能体DDPG（MADDPG）？ 多智能体环境下传统算法的短板 传统的Q-Learning算法不适用：随着训练的进行，每个智能体的策略都在发生变化。从任何一个单独的智能体的角度来看，环境都变得不稳定，这带来.
【 书生·浦语大模型实战营】作业（六）：Lagent & AgentLego 智能体应用搭建
最新发布
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-03 1248
本篇笔记内容主要为 【书生·浦语大模型实战营】作业（六）：Lagent & AgentLego 智能体应用搭建智能体的作业 ，主要对智能体应用理论部分及具体搭建流程详细介绍，并分别进行实战应用及可视化展示，欢迎大家交流学习！
多智能体强化学习算法
07-29
多智能体强化学习算法有很多种，其中一种是COMA算法。COMA算法是一种基于价值函数值分解的方法，它将团队回报拆分为独立回报的多智能体算法。COMA算法使用Counterfactual Multi-Agent Policy Gradients来解析团队回报。\[1\] 另外，对于多智能体强化学习的仿真软件，有一些可供选择的工具。例如carla和metadrive。carla是一款自动驾驶仿真软件，但它可能不够轻量。而metadrive是另一个仿真软件，可以用于多智能体强化学习的研究。此外，还有一个名为SMARTS的开源项目，也可以用于多智能体强化学习的仿真。\[2\] 最后，关于on-policy和off-policy的概念，on-policy是指使用最新的策略来执行动作并收集数据，而off-policy的训练数据不是最新策略收集的。在on-policy中，使用同一个策略网络去采样动作并执行，并且更新Q值也需要用到该策略网络。\[3\] #### 引用[.reference_title] - *1* *2* *3* [多智能体强化学习理论与算法总结](https://blog.csdn.net/weixin_39735688/article/details/131260791)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值