Overview

多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）研究的是多个智能体在共享环境中的学习与交互问题。与单智能体强化学习相比，MARL 的困难不只是状态空间和动作空间变大，而是环境本身会随着其他智能体策略的变化而变化，因此每个智能体面对的都不再是一个静态的 MDP，而是一个由其他学习者共同塑造的动态系统。这个变化使得 MARL 同时具有强化学习、博弈论、分布式控制与多智能体系统的特征。

下面，我们从两条互补的线了解这个领域。第一条线是交互结构，也就是任务究竟是完全合作、完全竞争，还是合作与竞争并存的 mixed-motive 场景。第二条轴线是技术机制，也就是算法究竟通过 value factorization、centralized critic、communication learning、opponent modeling、population-based learning 还是 mean-field approximation 来处理多智能体耦合。前者回答“任务是什么”，后者回答“算法怎么处理其他智能体的存在”。

General Formalisms and Training Paradigms

From Single Agent to Multi Agents

MDP and POMDP

为了更清楚地理解多智能体形式化，先从单智能体 MDP 开始。一个马尔可夫决策过程（MDP）通常写成

其中 $\mathcal{S}$ 是状态空间，$\mathcal{A}$ 是动作空间，$P(s’ \mid s,a)$ 是状态转移函数，$R(s,a)$ 或 $R(s,a,s’)$ 是奖励函数，$\gamma$ 是折扣因子。MDP 的核心假设是：状态 $s_t$ 已经包含了对未来决策有用的全部信息，因此策略可以直接写成

在这个设定下，智能体目标通常写成

MDP 是后续所有形式化的起点：POMDP 是在 MDP 上加入部分可观测，Markov game 是在 MDP 上加入多个智能体，而 Dec-POMDP 则同时引入多智能体与部分可观测。

当单智能体无法直接看到真实状态时，最自然的推广就是 POMDP。一个 POMDP 可以写成

其中 $\mathcal{S}$ 是状态空间，$\mathcal{A}$ 是动作空间，$P(s’ \mid s,a)$ 是转移函数，$R(s,a)$ 或 $R(s,a,s’)$ 是奖励函数，$\Omega$ 是观测空间，$O(o\mid s’,a)$ 是观测函数，$\gamma$ 是折扣因子。和 MDP 的差别在于，智能体在时刻 $t$ 接收到的是观测 $o_t$，而不是真实状态 $s_t$。为了让记号更简单，下面先不显式写 history-dependent policy，而把策略简化记为

这个写法在严格理论上比 belief policy 或 history policy 更强地简化了问题，但在学习笔记里足够表达 partial observability 的本质：环境底层仍然由隐藏状态驱动，而决策者只能根据观测做近似决策。

Dec-POMDP

Dec-POMDP 是 cooperative MARL 中最标准、也最有代表性的形式化之一。这里首先要明确一点：Dec-POMDP 本身就是 cooperative 模型，它并不是所有 MARL 问题的总框架，而是“多个分布式智能体在共享团队回报下进行部分可观测决策”的标准模型。

一个 Dec-POMDP 通常表示为

其中 $I={1,\dots,N}$ 是智能体集合，$\mathcal{S}$ 是环境状态空间，$\mathcal{A}_i$ 是第 $i$ 个智能体的动作空间，$P(s’ \mid s,\mathbf{a})$ 是联合动作诱导的转移函数，$R(s,\mathbf{a})$ 是团队共享回报，$\Omega_i$ 是第 $i$ 个智能体的观测空间，$O(\mathbf{o}\mid s’,\mathbf{a})$ 是联合观测函数，$\gamma$ 是折扣因子。

在这个模型中，每个智能体在执行时只能访问自己的局部观测 $o_i$，并基于局部信息选择动作。为了保持符号简洁，下面不显式写局部历史，而把 decentralized policy 简化写成

若记联合策略为 $\boldsymbol{\pi}=(\pi_1,\dots,\pi_N)$，联合动作为 $\mathbf{a}=(a_1,\dots,a_N)$，那么团队目标写成

Dec-POMDP 抓住了 cooperative MARL 最核心的难点：团队必须通过联合动作影响共享环境并最大化共享回报，但每个智能体执行时又只能依赖自己的局部观测，因此 coordination、credit assignment 与 decentralized execution 会同时出现。

(from Daniel S. Bernstein, et al. The Complexity of Decentralized Control of Markov Decision Processes. UAI. 2000.)

Stochastic / Markov Games

当系统中有多个智能体共享同一环境、且各自可能有不同回报函数时，最常见的统一形式化是随机博弈（stochastic game，也常写作 Markov game）。一个 $N$ 智能体随机博弈通常写成

其中 $\mathcal{S}$ 是状态空间，$\mathcal{A}_i$ 是第 $i$ 个智能体的动作空间，$P(s’ \mid s, a_1,\dots,a_N)$ 是联合动作诱导的状态转移概率，$r_i(s,a_1,\dots,a_N)$ 是第 $i$ 个智能体的即时回报，$\gamma \in [0,1)$ 是折扣因子。若记联合动作为 $\mathbf{a}=(a_1,\dots,a_N)$，联合策略为 $\boldsymbol{\pi}=(\pi_1,\dots,\pi_N)$，那么第 $i$ 个智能体的目标通常写成

在这个框架下，单智能体 RL 的很多对象都被保留下来，但都变成了“对联合行为敏感”的版本。例如联合动作价值函数可以写成

Markov game 之所以重要，是因为它统一容纳了 fully cooperative、zero-sum competitive 与 general-sum 三类交互结构。对于 cooperative 问题，所有智能体共享同一个回报函数；对于 zero-sum 问题，通常有 $r_1=-r_2$；对于 general-sum 问题，各智能体回报既不完全一致，也不完全相反，因此更容易出现 equilibrium selection、协商与对手塑形等现象。

和 Dec-POMDP 相比，Markov game 的关键差异不是“是否多智能体”，而是它允许一般的奖励结构，而且通常默认状态是可直接使用的。因此，Markov game 更适合描述一般多智能体博弈关系，尤其是 competitive 与 mixed-motive 场景。

POSG

如果把 POMDP 推广到多智能体 setting，更一般的对象是 partially observable stochastic game（POSG）。它可以写成

和 Markov game 相比，POSG 额外引入了每个智能体自己的局部观测空间 $\Omega_i$ 和联合观测函数 $O$；和 Dec-POMDP 相比，POSG 不要求共享团队奖励，因此 cooperative、competitive 与 general-sum 三种结构都可以被统一表达。

从关系上看，

• MDP：单智能体、状态可直接使用；
• POMDP：单智能体、部分可观测；
• Dec-POMDP：多智能体、共享团队奖励、部分可观测；
• Markov game：多智能体、奖励结构一般、通常完全可观测；
• POSG：多智能体、奖励结构一般、部分可观测。

其中，Dec-POMDP 可以看作 POSG 在 cooperative setting 下的一个特例；POSG 可以看作 POMDP 在多智能体场景下的推广；而 Markov game 则可以看作 POSG 在 fully observable 情形下更常见的对应。

Training Paradigms

MARL 中最常见的训练范式可以分为 CTE、CTDE 和 DTE 三类。Centralized Training and Execution（CTE）指的是训练和执行都依赖集中式的全局信息与集中式控制器。这类方法在多机器人集中调度中很自然，但它不满足真正的 decentralized execution 约束，因此更接近集中控制而非标准的多智能体分布式决策。

Centralized Training for Decentralized Execution（CTDE）是 cooperative MARL 中最主流的范式。它允许训练阶段使用全局状态、其他智能体动作、联合回报或额外的 centralized critic 来降低学习难度，但执行阶段必须退回到每个智能体仅依赖局部观测来行动。若记训练时可访问的额外信息为 $x_t$，那么可以把 actor 和 critic 的分工粗略写成

这种范式的核心价值不是“训练时偷看答案”，而是利用训练期间可获得的额外信息来缓解 non-stationarity、credit assignment 与 partial observability，同时保持部署时的分布式可执行性。 (from Ryan Lowe, et al. Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments. NIPS. 2017.)

Decentralized Training and Execution（DTE）则要求训练和执行都只能使用局部信息。它更贴近严格通信受限、隐私受限或完全分布式的实际系统，但往往更难优化，因为训练阶段也无法借助 centralized critic 或全局状态来稳定学习。

Core Challenges

1. Non-Stationarity

在单智能体 RL 中，环境转移通常假设是固定的；但在 MARL 中，对任意一个智能体而言，其他智能体也在同时学习，因此环境动力学和奖励结构都在不断变化。即使外部物理环境没有变化，由于其他智能体策略更新，某个 agent 眼中的有效转移核也会改变。这就是 MARL 最根本的 non-stationarity 问题。

这个问题会直接破坏很多单智能体 RL 里默认成立的假设。例如 experience replay 假设过去数据和当前策略处于相近分布，但在多智能体场景中，旧样本往往是由过时的对手或队友策略生成的；又例如 off-policy 更新依赖于环境近似平稳，而多智能体学习会让同一状态下的回报含义不断漂移。因此，很多 MARL 方法都会通过 centralized critic、fingerprints、population training 或者更严格的 on-policy 训练来缓解 non-stationarity。

2. Credit Assignment

在 cooperative MARL 中，团队共享回报很自然，但共享回报会立刻带来 credit assignment 问题：当一个团队在时刻 $t$ 收到奖励时，究竟是哪个智能体、哪个动作、或者哪个局部决策片段对这次奖励真正负责？如果不能有效解决这个问题，那么某些智能体就可能成为 lazy agents，只依赖其他智能体完成任务，或者因为奖励信号太粗糙而学不到有效的局部策略。

credit assignment 的困难既体现在时间维度，也体现在智能体维度。时间上，许多奖励是 delayed reward；智能体上，回报是联合行为的结果而不是单个动作的直接后果。COMA 中的 counterfactual baseline、difference rewards、value factorization 以及一些 advantage decomposition 方法，本质上都是在试图回答“如果只改变某个智能体的动作，而保持其他因素不变，结果会如何变化”这一问题。

3. Joint Action Explosion

这个指数增长会让很多原本在单智能体场景中简单的问题变得困难。例如联合 Q 函数 $Q(s,\mathbf{a})$ 的表示成本会迅速上升；在 cooperative setting 中做 $\arg\max_{\mathbf{a}} Q(s,\mathbf{a})$ 也会变得困难；在 competitive 或 mixed setting 中，stage game 的 equilibrium computation 也会随着联合动作空间扩大而变得昂贵。因此，value factorization、monotonic mixing、mean-field approximation、graph factorization 等方法都可以被看作是对 joint action explosion 的结构化近似。

4. Partial Observability

在 MARL 中，许多环境天然是部分可观测的。每个智能体只能看到自己的局部观测，无法直接访问完整状态，也不知道其他智能体真实看到了什么、记住了什么、准备做什么。这意味着智能体不仅要“对环境建模”，还要“对其他智能体的认知状态建模”。如果没有记忆机制、belief representation 或 communication channel，仅凭当前局部观测往往不足以做出高质量决策。

因此，recurrent policy、belief modeling、communication learning、teammate modeling 和 opponent modeling 都在很大程度上是对 partial observability 的回应。Hanabi 和很多 imperfect-information game 之所以困难，并不是因为动作空间特别大，而是因为智能体必须在局部信息约束下推断他人的知识与意图。

5. Equilibrium and Generalization

在 competitive 或 mixed-motive 场景中，仅仅提高训练回报并不能说明问题已经解决。一个策略也许能在固定对手上取得高回报，但可能对新的对手分布极不鲁棒；也许能在 self-play 训练中收敛到某个行为模式，但这个行为模式可能远离 Nash equilibrium，或者非常容易被 exploitation。也就是说，这类问题不仅涉及 optimization，还涉及 equilibrium quality 与 out-of-distribution generalization。

因此，在 zero-sum 和 general-sum MARL 中，evaluation 往往需要超出平均回报本身，进一步考察 exploitability、cross-play、population robustness、best-response performance 和 partner generalization。OpenSpiel、PSRO 以及各种 league-based/self-play 方法的重要性，恰恰来自它们能够提供比单一平均回报更有辨识力的评测视角。

6. Scalability and Heterogeneity

真实多智能体系统往往不是由少量同质智能体构成的。在 agent 数量增加之后，除了表示和优化复杂度增长之外，还会同时出现异质动作空间、不同角色、局部图结构、动态通信拓扑、资源竞争与协作约束等问题。简单的 parameter sharing 在同质 cooperative benchmark 上可能足够有效，但在异质和大规模场景中往往不再成立。

这也是为什么 large-population MARL、graph MARL、role-based decomposition、attention-based interaction modeling 在近几年持续受到关注。它们都试图解决一个共同的问题：如何在不显式枚举所有 agent-agent 交互的前提下，保留对关键交互结构的刻画能力。

A Taxonomy

从两个相互正交的维度来分类现有MARL研究：一个维度描述任务的 interaction structure，另一个维度描述算法的 technical mechanism。

其中第一条维度回答的是“任务中的利益关系是什么”，而第二条维度回答的是“算法通过什么技术手段处理多智能体耦合”。例如 communication learning 可以出现在 cooperative 问题中，也可能出现在 mixed-motive 场景中；opponent modeling 虽然在 competitive setting 里更自然，但在 cooperative Hanabi 一类问题里同样重要。

Taxonomy by Interaction Structure

Fully Cooperative

Value-based

在 fully cooperative MARL 中，所有智能体共享同一个团队目标，因此形式化通常最接近 Dec-POMDP。问题的关键在于：每个智能体只能看到局部观测，却需要与其他智能体共同形成一个高质量的联合策略。这里最核心的技术矛盾是，训练时我们希望利用全局信息来降低学习难度，但执行时又必须满足 decentralized execution 的约束。

Value-Decomposition Networks (VDN). Sunehag et al. 2017.
VDN 的出发点非常直接：既然团队共享一个回报，那么不妨把团队动作价值函数表示成各个智能体局部价值函数的和，即

这个分解形式的优点是简单、易训练，而且保证了 decentralized greedy action selection 的可行性，因为联合最优动作可以由各智能体局部贪心动作组合得到。VDN 的局限也同样明显：它只能表达 additive interaction，无法刻画复杂的协同依赖。

QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning. Rashid et al. 2018.
QMIX 在 VDN 的基础上进一步放宽了表示能力。它不再要求 $Q_{\mathrm{tot}}$ 是简单求和，而是通过 mixing network 学习从 individual utilities 到 joint value 的映射（输入为$Q_1$到$Q_n$，输出为$Q_{tot}$），同时要求这个映射满足单调性约束

这个条件保证了 individual-global-max（IGM）原则，即联合动作的贪心选择仍然可以分解为各个智能体的局部贪心选择。QMIX 之所以成为 cooperative MARL 的经典基线，是因为它在表达能力和可分解性之间给出了一个很实用的折中；它的问题则在于，单调性假设仍然排除了某些更复杂的协同结构。

Policy Gradients

Counterfactual Multi-Agent Policy Gradients (COMA). Foerster et al. 2018.
COMA 代表的是另一条 cooperative 主线：centralized critic actor-critic。它的关键不是 value factorization，而是通过一个 centralized critic 为每个智能体提供 counterfactual advantage，从而缓解 multi-agent credit assignment。对智能体 $a$，COMA 的 advantage 写成

这个 baseline 保持其他智能体动作不变，只对当前智能体的动作做边缘化，因此更接近“如果只有我改动作，结果会怎样”的 counterfactual 问题。COMA 的历史意义很强，因为它把 credit assignment 明确地写进了 multi-agent actor-critic 框架；不过从后续实践看，COMA 往往不如后续方法（“While COMA has been very influential, it isn’t widely used since newer methods tend to outperform it” – Christopher Amato. An Introduction to Centralized Training for Decentralized Execution in Cooperative Multi-Agent Reinforcement Learning）。

IPPO: Is Independent Learning All You Need in the StarCraft Multi-Agent Challenge? Schroeder de Witt et al. 2020.
IPPO 对 cooperative MARL 的重要性在于，它直接挑战了“cooperative MARL 必须依赖 centralized critic 或 joint value learning 才能在困难任务上工作”的常见印象。这篇论文研究的是 SMAC 上的 Independent PPO：每个智能体只学习基于局部观测的策略和局部 value function，不使用 centralized critic。论文的核心结论是，尽管 independent learning 在理论上有 non-stationarity 等缺陷，但 PPO 的一些稳定化机制，尤其是 policy clipping，足以让这种简单方法在不少 hard SMAC maps 上与甚至优于一些 joint-learning baseline。

从目标函数上看，IPPO 仍然遵循标准 PPO 的 clipped objective，只不过每个智能体都基于自己的局部信息独立更新：

其中

这篇论文里，IPPO 最值得记住的不是一个新公式，而是一组非常“朴素但有效”的设计选择。
部署时的关键做法：

• 每个智能体只使用自己的局部观测执行策略，不依赖 centralized critic 或全局状态；
• 在同质智能体场景下，actor 参数共享，这样既保留 decentralized execution，又提高样本效率与泛化一致性。

训练时的关键 tricks：

• 使用局部观测 critic，而不是 centralized value function；论文发现把 full state 塞给 critic 在一些 hard SMAC maps 上反而更差；
• 使用 GAE、entropy regularization 和 PPO 的 policy clipping；
• 同时对 value function 使用 value clipping，作者的 ablation 表明 policy clipping 是关键，而 value clipping 在部分 hard maps 上也有帮助；
• 对 advantage 做一次整体 normalization，而不是按 mini-batch 做 normalization；
• 使用 gradient clipping、参数共享，以及针对 SMAC 的 stacked observations + CNN/MLP 编码器。

这篇工作的核心启发是：在 cooperative MARL 里，centralized critic 并不是永远更好。特别是在 SMAC 这类环境中，保持更新简单、限制策略剧烈变化，有时比引入更强的 centralized information 更稳。

MAPPO: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games. Yu et al. 2022.
MAPPO 的重要性不在于提出了一个全新的理论对象，而在于它系统证明了：经过细致实现与调参的 PPO，在 cooperative benchmark 上可以成为一个极强的 baseline。与 IPPO 相比，MAPPO 的关键区别不在 actor，而在 critic。作者将 policy 保持为 decentralized policy，但允许 value function 在训练时接收 centralized inputs，因此算法属于标准 CTDE 路线。论文中对 MAPPO 和 IPPO 的区分也写得很清楚：当 value function 使用 centralized inputs 时称为 MAPPO；当 policy 和 value function 都只用局部输入时称为 IPPO。

MAPPO 的核心优化目标仍然是 PPO 的 clipped surrogate objective：

其中

MAPPO 的真正贡献在于把“PPO 在 cooperative MARL 中怎样才会 work”这件事拆成了一组可以复现的 best practices。
部署时的关键做法：

• actor 在执行时仍然只依赖局部观测，因此保持 decentralized execution；
• 在同质智能体环境中，policy 和 value network 都采用 parameter sharing；
• centralized information 只进入训练期的 value function，而不进入执行期的 actor。

训练时的关键 tricks：

• 使用 value normalization 来稳定 value learning；作者发现它“几乎从不伤害、经常明显有益”；
• 为 centralized critic 设计合适的输入表示：最好同时包含 global features 和 local, agent-specific features，并避免无意义地扩大 critic 输入维度；
• 控制 training data reuse：困难任务通常使用 5 或 10 个 epochs，简单任务用 15 个 epochs，并尽量避免把一批数据切成过多 mini-batches；
• 将 PPO clipping ratio $\epsilon$ 控制在 0.2 以下，并把它当成“稳定性和收敛速度之间的折中参数”来调；
• 使用足够大的 batch size，以换取更稳定的梯度估计与更好的最终性能；
• 另外，论文实现里还采用了 parameter sharing、GAE、advantage normalization 和 value clipping 这些 PPO 常用稳定化做法。

MAPPO 最重要的结论是：PPO 在 cooperative MARL 里并不天然弱，问题更多出在“把单智能体 PPO 的实现习惯生硬搬到多智能体环境”上。作者通过系统 ablation 说明，一旦 critic 输入、数据复用和 clipping 被调对，MAPPO 可以在多个 cooperative benchmark 上达到与 off-policy 方法相当甚至更好的表现。

Fully Competitive (Zero-Sum Game)

在 fully competitive 的 zero-sum setting 中，任务目标不再是最大化共享团队回报，而是围绕 minimax value、best response 与近似 Nash equilibrium 展开。若两方收益满足 $r_1=-r_2$，那么问题的核心目标可以写成

这类问题的重点因此从“团队协调”转向“策略稳定性与可利用性”。平均回报当然仍重要，但 exploitability、regret、cross-play robustness 往往是更本质的评价指标。

Markov Games as a Framework for Multi-Agent Reinforcement Learning / Minimax-Q. Littman. 1994.
Littman 的工作是 zero-sum stochastic games 的经典起点。Minimax-Q 把单智能体 Q-learning 推广到两人零和 Markov game，并把状态价值定义为对 stage game 的 minimax 解：

随后再用这个 $V(s’)$ 做 Bellman-style 更新：

这篇工作的意义在于，它明确指出了多智能体 RL 与博弈求解的联系：一旦其他智能体不再是环境噪声，而是理性对手，那么 value update 本身就必须包含 equilibrium reasoning。

Neural Fictitious Self-Play (NFSP). Heinrich and Silver. 2016.
NFSP 的核心思想是把 fictitious play 的 two-timescale 结构用深度学习实现出来：一方面用强化学习训练近似 best response，另一方面用监督学习追踪 average policy。它的意义并不在于某个单一公式，而在于训练机制本身：通过在 best-response policy 与 average policy 之间切换，NFSP 可以在 imperfect-information game 中逼近更稳定的博弈解概念。

Deep Counterfactual Regret Minimization (Deep CFR). Brown et al. 2019.
Deep CFR 把 CFR 的 regret minimization 思想与函数逼近结合起来，适合处理大规模 imperfect-information game。与标准 deep RL 不同，Deep CFR 的优化对象并不是一个普通的 value function，而是 counterfactual regret 与平均策略。

DeepNash / Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning. Perolat et al. 2022.
DeepNash 面向的是大规模、长时程、不完全信息的零和对抗问题。它的贡献不只是打赢了 Stratego，更重要的是展示了在复杂 imperfect-information game 中，model-free multiagent learning 也可以与 equilibrium-oriented 训练目标结合。

Mixed (General-Sum Game)

mixed 或 general-sum MARL 往往最接近真实社会交互，因为智能体之间既可能合作，也可能竞争，而且利益关系会随状态、时间或群体构成而变化。与 zero-sum 问题不同，general-sum 场景通常存在多个可能的 equilibrium；与 fully cooperative 问题不同，这些 equilibrium 的 welfare、fairness 和稳定性也可能完全不同。因此，这一类问题经常同时要求智能体学会协作、博弈、预测、塑形和适应。

Friend-or-Foe Q-learning. Littman. 2001, and Nash Q-Learning. Hu and Wellman. 2003.
这两类早期方法代表了 general-sum stochastic game 的理论起点。Friend-or-Foe Q-learning 通过对其他智能体做 friend / foe 的结构化假设来简化求解，而 Nash Q-learning 则更直接地把每个状态下的 stage game Nash equilibrium 写进 Bellman 更新中。它们的重要意义在于：general-sum MARL 从一开始就不是“把 cooperative 和 competitive 简单平均一下”，而是必须正视 equilibrium selection 与多解性。

Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments (MADDPG). Lowe et al. 2017.
MADDPG 是 deep mixed-motive MARL 的里程碑工作，也是 centralized critic 这条线在 mixed cooperative-competitive 环境中的代表作。它的基本思路是：每个智能体在执行时仍然只根据自己的局部观测采取动作，但在训练时，critic 可以访问更丰富的全局信息和所有智能体的动作，从而缓解由其他学习者引起的 non-stationarity。于是，对 agent $i$，MADDPG 维护一个 deterministic actor $\mu_i(o_i)$ 和一个 centralized critic $Q_i^\mu(x,a_1,\dots,a_N)$，其中 $x$ 表示训练时可访问的全局状态或其他集中式信息。

在 critic 侧，MADDPG 继承 DDPG 的 temporal-difference 回归思想。对 agent $i$，bootstrap target 写成

其中 $\mu_j’$ 和 $Q_i^{\mu’}$ 是 target networks。于是 critic 的 loss function 可以写成

actor 侧则使用 deterministic policy gradient。对智能体 $i$，策略梯度写成

这个式子的含义是：actor 只负责改变自己的动作，而 critic 在求梯度时会把其他智能体动作一起考虑进去，因此 agent $i$ 实际上是在“联合行为诱导的价值面”上更新自己的 deterministic policy。也正因为 critic 依赖所有智能体动作，MADDPG 才能够把“其他智能体也在学习”这件事部分吸收到 critic 的输入中。

MADDPG 的贡献不只是把 DDPG 机械地搬到多智能体 setting，而是明确提出了 decentralized actor + centralized critic 的训练结构，并把它推广到 cooperative、competitive 和 mixed 三种环境。论文里还提出了Inferring Policies of Other Agents 和 policy ensemble 训练，用来用于估计其他智能体的策略（移除知道其他智能体策略的假设），并提高在多样对手分布下的鲁棒性。

Learning with Opponent-Learning Awareness (LOLA). Foerster et al. 2017.
LOLA 的核心洞见是：在 mixed-motive 问题中，如果你只对“对手当前的策略”做 best response，那么你忽略了一个事实，即你的更新本身也会改变对手下一步的更新方向。换句话说，另一个智能体不是静态环境，而是正在学习的对手。为此，论文先把 naive learner 的更新写成

即只对自己的当前目标做梯度上升。而在 LOLA 中，agent 1 会把对手未来的一步学习更新也代入自己的目标。如果 agent 2 预计会按

更新，那么 agent 1 的目标不再是简单优化 $V_1(\theta_1,\theta_2)$，而是优化“对手更新一步之后”的收益：

这个更新式的意义在于：我不仅关心当前回报，还关心我这一步会如何塑造对方下一步的学习轨迹。若进一步做一阶展开，可以看到 LOLA 比 naive learner 多出一个 opponent-shaping term，它显式刻画了“我对对手学习过程的影响”。也正是因为这个项，LOLA 能在 iterated prisoner’s dilemma 一类社会困境中学出比普通 gradient learner 更具策略性的行为模式。它的局限也很清楚：一旦更新里出现跨智能体的高阶梯度，优化就更脆弱，因此后续才会出现 SOS 这类稳定化方法。

Probabilistic Recursive Reasoning (PR2). Wen et al. 2019.
PR2 进一步把高阶推理带进 MARL。它不再满足于“我估计对手当前会做什么”，而是显式建模“对手会如何根据我的动作做条件反应”。论文最关键的一步，是把 joint policy 从普通的乘积分解，重写成带有条件对手策略的形式。对 agent $i$，作者从它的视角把 joint policy 重写为

从对手视角，也可以对称地写成

它的含义非常关键：PR2 不再把对手看成一个只依赖状态的静态策略分布，而是把对手策略重写成一个条件策略$\pi^{-i}(a^{-i}\mid s,a^i)$，也就是“给定我选择了什么动作，对手将如何响应”。这一点正是 recursive reasoning 和普通 opponent modeling 的核心区别。

基于这个 joint policy 分解，PR2 对 agent $i$ 的优化目标可以写成

也就是说，agent $i$ 在选动作时，不是对一个静态对手分布求期望，而是对“对手对我动作的条件响应分布”求期望。由此得到的 recursive reasoning policy gradient 形式为

在真实训练中，agent 通常无法直接访问对手的真实条件策略 $\pi^{-i}(a^{-i}\mid s,a^i)$，所以 PR2 又引入了一个参数化的 opponent conditional policy$\rho_{\phi^{-i}}^{-i}(a^{-i}\mid s,a^i)$ 去近似它。于是 decentralized recursive reasoning policy gradient 变成

若把上式中的积分记成一个条件 soft-Q / expected-Q 项，那么可进一步写成

其中

这个式子的含义是：策略梯度的权重不再是普通的 $Q^i(s,a^i)$，而是“在我选了动作 $a^i$ 之后，对手按照条件响应模型行动时的期望 Q 值”。这正是 PR2 的技术核心。

从算法流程看，PR2 基本上是在交替优化三部分对象：

• 当前智能体的 policy $\pi_{\theta_i}^i(a^i\mid s)$；
• 条件对手模型 $\rho_{\phi^{-i}}^{-i}(a^{-i}\mid s,a^i)$；
• 联合动作价值函数 $Q^i(s,a^i,a^{-i})$。

论文把这种过程解释成一种 EM-style learning procedure：先固定 $\rho$ 和 $Q$ 去更新 policy，再利用新轨迹更新条件对手模型和 Q-function。作者由此给出了 PR2-Q 和 PR2-Actor-Critic 两个版本。直观上，PR2 比普通 opponent modeling 更强，因为普通对手建模更像是在学“对手通常会做什么”，而 PR2 学的是“对手会怎样响应我”。这也是为什么它在一些 non-transitive、存在复杂相互适应的 differential games 中表现突出。

Policy-Space Response Oracles (PSRO) / A Unified Game-Theoretic Approach to Multiagent Reinforcement Learning. Lanctot et al. 2017.
传统independent RL方法不仅存在non-stationarity问题，还会过度拟合训练过程中其他智能体的特定策略，执行阶段与未见过的智能体交互时泛化性极差。 PSRO 的重要性在于它改变了训练单位：与其直接试图学到一个单一最终策略，不如维护一个策略种群（policy population），并在种群层面显式做 game-theoretic reasoning。设第 $i$ 个玩家当前维护的策略集合为 $\Pi_i$，那么 PSRO 首先通过 rollout 估计这些策略之间的 empirical payoff table，然后在这个经验博弈上用 meta-solver 求一个 meta-strategy $\sigma_i \in \Delta(\Pi_i)$。接着，对每个玩家训练一个对当前对手 population 的 best response oracle：

新学到的 best response 会被加入策略集合，形成新的 population，再重新计算 empirical game 和新的 meta-strategy。这个循环的关键思想是：复杂多智能体学习问题往往不是“找到单个最优策略”，而是“找到一个足够有代表性的策略种群，并在种群层面逼近 equilibrium”。这使 PSRO 特别适合处理 non-transitive、multi-modal 或 mixed-motive 环境，因为在这些环境里，单一策略往往不稳定，也无法概括整体博弈结构。PSRO 也是后续 population-based MARL、league training 和 empirical game-theoretic analysis 的一个重要起点。

Specific Techniques

Communication Learning

communication learning 不是一种单独的任务结构，而是一组在部分可观测多智能体系统中显式学习“交流什么、何时交流、向谁交流”的技术。它通常出现在 cooperative 场景中，但在 mixed-motive 环境中同样可能重要，因为 communication 既可以促进协作，也可能被操纵、伪装或有成本约束。

CommNet. Sukhbaatar, Szlam, Fergus. 2016.
CommNet 的代表性在于把多智能体通信通道设计成连续可微的神经网络组件。若第 $\ell$ 层第 $i$ 个智能体的隐藏状态是 $h_i^{(\ell)}$，那么一个典型的 communication summary 可以写成

再用它更新下一层表示

这种设计的意义在于，通信本身成为端到端可学习的内部表示，而不是手工指定的离散协议。它非常优雅，但也因为过于“全员平均通信”而缺乏选择性。

RIAL / DIAL. Foerster et al. 2016.
RIAL 把 communication 当作一个需要强化学习的动作，而 DIAL 则更进一步，在训练阶段允许梯度穿过通信通道传播，执行时再把消息离散化。这个设计解决了一个很现实的问题：如果从一开始就把消息当成完全离散且不可导的动作，学习会变得非常困难；而若训练时允许连续消息与梯度流动，则可以显著降低 credit assignment 难度。RIAL/DIAL 因而成为 communication learning 中非常经典的一组工作。

TarMAC. Das et al. 2019.
TarMAC 解决的是更细粒度的问题：不是所有通信都应该被广播给所有人，更合理的机制是“向谁发送、谁该接收、何时多轮交互”。它使用 attention 机制让通信具备 targeted routing 的能力。若智能体 $j$ 发送的 value 是 $v_j$，而 $\alpha_{ij}$ 是从 $j$ 到 $i$ 的注意力权重，那么接收方 $i$ 获得的消息可以写成

这类方法的重要意义在于，它把 communication 从“共享内存”变成了“结构化信息路由”，更适合复杂协作与大规模系统。

Opponent Modeling and Theory of Mind

opponent modeling 指的是显式建模其他智能体的目标、策略、知识状态或学习动态；theory of mind 风格的方法则进一步强调对“他人如何看待我、他人知道什么、他人将如何响应”这类高阶认知结构的建模。在 mixed 和 competitive MARL 中，这一支尤其关键，但在 cooperative imperfect-information task 中同样重要。

Self Other-Modeling (SOM). Raileanu et al. 2018.
SOM 的思想非常直观：如果我知道自己的 policy 是如何根据隐变量和观测做决策的，那么我也许可以利用“自己”这个模型来反推对方的隐目标或隐状态。换句话说，SOM 用自己的策略机制去解释他人的行为，这是一种非常典型的 theory-of-mind 式建模方式。它的贡献主要在于建模视角，而不是某个单一公式。

LOLA. Foerster et al. 2017.
LOLA 在这里再次出现，是因为它不仅属于 mixed-motive MARL，也属于 opponent modeling 的代表作。它建模的不是对手当前策略，而是对手的学习更新本身，因此是一种“对手将如何变化”的建模。这比静态 opponent model 更强，也更不稳定，因此后续出现了 SOS 等工作来提高其优化稳定性。

PR2. Wen et al. 2019.
PR2 则把对他人反应的建模推进到递归层面。它的核心启发是：许多多智能体问题中的推理不是一阶的“对方会做什么”，而是高阶的“对方知道我会做什么，因此会进一步调整自己的行为”。从这个角度看，PR2 是 opponent modeling 与 recursive reasoning 的一个重要连接点。

Recursive Reasoning Graph (R2G). Ma et al. 2022.
R2G 的意义在于，它把 recursive reasoning 的结构和图表示结合起来，用图来表达智能体之间谁在影响谁、谁在推断谁。这一步很重要，因为在多智能体系统里，递归推理并不总是全连接的；很多时候，关键交互只发生在局部结构上。R2G 因而把 theory of mind 方向与 graph-based MARL 联系了起来。

Large-Population / Scalable MARL

当系统中存在大量智能体时，直接表示 $Q(s,a_1,\dots,a_N)$ 往往既不必要也不可扩展。严格来说，“Large-Population / Scalable MARL” 并不是单一算法族，而是一组为了避免联合状态-动作空间爆炸、通信开销爆炸和训练成本爆炸而发展出来的方法路线。就我现在的理解，这些路线大致可以分成四类：

• 用 population statistics 或 collective variables 替代对每个个体的显式建模；
• 用低阶 interaction factorization 近似高维联合 Q-function；
• 用 graph neural networks 或 attention 只保留局部、稀疏、动态的重要交互；
• 用 curriculum 或 agent-number transfer 解决“随着 agent 数量增加，训练本身越来越难”的问题。

Mean Field Multi-Agent Reinforcement Learning. Yang et al. 2018.
Mean Field MARL 的代表性在于，它把多智能体相互作用近似成个体与 mean field 的作用。若 $\mu_t$ 表示邻域中其他智能体动作的经验分布，那么单个智能体的 Q 函数近似写成

而不是直接表示 $Q_i(s_t,a_1^t,\dots,a_N^t)$。这个近似背后的哲学是：当群体规模足够大时，单个对手的身份不再重要，真正重要的是整体行为的统计结构。Mean Field MARL 因而为 many-agent games、群体控制和 anonymous interaction 提供了一条非常自然的路线。

Policy Gradient With Value Function Approximation For Collective Multiagent Planning. Nguyen, Kumar, Lau. 2017.
这篇工作研究的是 CDec-POMDP（collective Dec-POMDP），核心思想和 mean-field 非常接近：当系统中真正起作用的是“某类 agent 在某个区域有多少个”或“群体的 aggregate behavior 是什么”时，就没有必要保留每个个体的身份。论文通过 collective statistics 来建模 joint reward 和 environment dynamics，并进一步提出 actor-critic 方法做优化。它的重要意义在于：large-population MARL 不一定非要走 mean-field game 那条线，也可以走“collective state / count-based abstraction”的路线。对交通、车队调度、资源分配这类场景来说，这种建模往往比逐个 agent 建模更自然。

Factorized Q-Learning for Large-Scale Multi-Agent Systems. Zhou et al. 2018.
这篇工作代表的是另一条路线：不去把其他 agent 全部平均掉，而是假设高维联合 Q 函数可以由低阶 interaction 近似表示。论文把 joint-action Q-function 看成一个高阶张量，再用 pairwise factorization 去逼近它。直观上，它试图用“个体项 + 两两交互项”的结构近似复杂多体耦合，从而把原本不可处理的 joint Q-learning 变成一个还能优化的近似问题。这类方法的优势是：它比简单 mean-field 保留了更多 interaction structure；局限则在于，一旦真正重要的是高阶协同而不是 pairwise interaction，factorized approximation 就可能不足。

Graph Convolutional Reinforcement Learning. Jiang et al. 2020.
如果说 mean-field 和 factorization 的思路是“做统计压缩”或“做函数分解”，那么图神经网络路线的思路则是：现实中的多智能体交互往往天然稀疏、局部、动态，因此真正需要建模的不是“所有 agent 和所有 agent 的关系”，而是一个随时间变化的 interaction graph。GCRL 的贡献就在于把 agent 间影响建模为图卷积过程，让每个智能体通过邻域卷积逐步聚合高阶关系特征。它非常适合处理局部协作、网络路由、局部感知下的群体协调，因为这些问题的关键从来都不是全连接协调，而是图结构上的关系传播。

Efficient and Scalable Reinforcement Learning for Large-Scale Network Control. Trott et al. 2024.
关注的核心问题就是：如何在大规模网络控制系统里，让强化学习既可扩展又可部署。论文强调的是 topology-aware decentralization：每个控制器只根据局部观测和局部邻域信息决策，但训练时结合 learned system model、局部通信和图结构归纳偏置，在数百个 agent 的网络里仍然能保持性能与样本效率。它和前面的 graph-based scalable MARL 有相当强的连续性，但比一般 graph RL 论文更偏“真实大规模控制系统”的工程落地，也更清楚地展示了 scalable MARL 在 networked control 上的价值。

Multi-Agent Game Abstraction via Graph Attention Neural Network. Liu et al. 2020.
G2ANet 代表的是 graph-based scalability 的另一个重要方向：不仅要用图表示 agent 之间的关系，还要进一步学习“哪些关系其实根本不重要”。论文提出两阶段 attention 机制，用来判断两个 agent 是否存在有效交互以及这种交互有多重要。这个视角非常适合 large-scale MARL，因为很多大规模系统里，真正困难的不是 agent 数量本身，而是 agent 之间潜在关系过多。如果模型能自动识别并忽略无关交互，就等于主动做了 game abstraction。就这个意义上说，G2ANet 更像是“可学习的交互稀疏化 / 抽象化”方法。

From Few to More: Large-scale Dynamic Multiagent Curriculum Learning. Wang et al. 2019.
这篇工作和前面几篇略有不同。严格来说，它不是在提出一种新的大规模系统建模形式，而是在解决“随着 agent 数量增加，训练本身变得越来越难”的问题。DyMA-CL 的核心思想是：先在少量智能体的较简单设置中学，再逐步增加 agent 数量，把训练过程组织成一种 curriculum。为了让这种 curriculum 能在不同 agent 数量之间迁移，论文还提出了 Dynamic Agent-number Network（DyAN）来处理输入维度随 agent 数量变化的问题。因此，如果把 scalable MARL 分成“模型可扩展性”和“训练可扩展性”两部分，那么 DyMA-CL 更适合归到后者。

Learning to Simulate Self-Driven Particles System with Coordinated Policy Optimization. Wu et al. 2021.
Coordinated Policy Optimization（CoPO）关注的是在大量自驱粒子 / 交通参与者系统中学习可协调、可泛化的群体行为，它强调的是如何通过协调式策略优化，让局部决策诱导出合理的宏观群体动力学。它和严格意义上的 mean-field、factorized Q、graph abstraction 不完全一样，因为它的重点更偏向 emergent coordination 而不是通用的可扩展性建模。

从整体上看，

• mean-field / collective methods 适合 anonymous interaction 或群体统计主导的问题；
• factorized interaction methods 适合仍需保留局部耦合结构、但又不能显式表示完整 joint action 的问题；
• graph-based methods 适合交互稀疏、局部、动态的系统；
• curriculum-based methods 适合“单次直接训练太难，但结构上可以从小规模逐步迁移”的场景；
• coordination-oriented large-population methods 则更强调在大量 agent 下学出稳定且合理的群体行为。

这类方法的共同目标都是让 agent 数量增长时，表示复杂度、训练复杂度和泛化难度不要同步爆炸。它们的共同局限也很明显：一旦近似结构与真实交互结构错配，例如本该建模高阶异质协同却被 mean-field 平均掉，或者本该是全局耦合却被图模型过度局部化，性能就会迅速下降。

Benchmarks and Surveys

Benchmarks

SMAC and SMACv2.
The StarCraft Multi-Agent Challenge（SMAC）长期以来是 cooperative MARL 最有影响力的 benchmark。它强调局部观测下的团队微操、credit assignment 与战术协调，因此非常适合评估 cooperative CTDE、value factorization 与 centralized critic 方法。SMACv2 则进一步指出原始 SMAC 存在随机性不足、部分任务容易被 open-loop policy 取巧等问题，因此更强调 generalization、closed-loop coordination 和 procedural variation。这个演变很有启发性：benchmark 本身并不是中性的，它会决定社区认为“什么算难”。

Hanabi.
Hanabi 是 fully cooperative 但又带有强 imperfect-information 特征的 benchmark。它的重要性在于，它把 cooperative MARL 从“只看协调动作”推进到了“还要看信念推理、惯例形成和 theory of mind”。如果一个 cooperative 方法只在 SMAC 类任务中表现好，而在 Hanabi 这种隐信息协作环境中表现一般，那么它对 MARL 的解释力其实是有限的。

MPE and Google Research Football.
Multi-Agent Particle Environments（MPE）是 mixed-motive MARL 中极其常见的实验平台，因为它实现简单、任务轻量、支持 cooperative、competitive 与 mixed cooperative-competitive 三种设置，特别适合快速验证算法思想。它的问题是任务相对玩具化。Google Research Football 则更接近复杂团队对抗，它把长时程规划、自博弈与团队竞争结合得更自然，因此更适合观察多智能体连续控制与 self-play 的长期行为。

OpenSpiel and Melting Pot.
OpenSpiel 的价值在于，它把 cooperative、zero-sum、general-sum、perfect-information 和 imperfect-information 游戏统一到一个实验接口中，因此非常适合做 equilibrium、exploitability 与 cross-play 研究。Melting Pot 则把重点放在 social reasoning、partner generalization 与开放式社会互动上，它提醒我们：一个 MARL 算法如果只能适应固定训练伙伴，那它未必具备真正的社会智能。

Surveys

Peter Stone and Manuela Veloso, 2000: Multiagent Systems: A Survey from a Machine Learning Perspective.
这篇 survey 很早，但它的价值并没有消失，因为它从一开始就把多智能体问题放在一个比“深度 cooperative RL”更宽的背景中：异质性、通信、协商、角色分工、社会规范和资源管理都已经被明确提出。对今天最大的提醒是，MARL 本来就不应被局限为某几个 benchmark 和算法族。

Hernandez-Leal, Kartal, Taylor, 2019: A Survey and Critique of Multiagent Deep Reinforcement Learning.
这篇 survey 是 deep MARL 社区最经典的综述之一。它既整理了 communication、cooperation、emergent behavior 与 agents modeling agents 这些主要分支，也很早就系统指出了 replay buffer non-stationarity、parameter sharing、RNN 和记忆机制、过拟合与评测偏置等实践问题。它特别适合作为 deep MARL 的第一层地图。

Zhang, Yang, Basar, 2021: A Selective Overview of Theories and Algorithms.
这篇综述更偏理论导向，它把 MARL 放回 stochastic games、extensive-form games、networked MARL 与 mean-field games 的框架中。它的价值在于帮助我把 cooperative、competitive 和 mixed setting 放到统一的博弈论背景下理解，而不是只记住一串算法名称。

Amato, 2024: An Introduction to CTDE in Cooperative MARL.
这篇综述的范围更窄，但非常适合梳理 cooperative CTDE 的主线。它把 value function factorization 和 centralized critic actor-critic 两大支系讲得非常清楚，也提醒读者：CTDE 是 cooperative MARL 中的重要范式，但并不等于整个 MARL。

Yang, et al. 2025. Game-Theoretic Multiagent Reinforcement Learning.
这部持续更新的长篇综述 / 专著最适合作为 game-theoretic MARL 的全景入口。它覆盖 stochastic games、Dec-POMDP、extensive-form games、identical-interest / zero-sum / general-sum 和 mean-field 等多个层面，并把 safe and robust MARL、model-based MARL、multi-agent meta-RL、foundation-model-based directions 等更近年的主题也串联起来。

Other Taxonomies

Based on the heterogeneity and whether communicate (Peter Stone and Manuela Veloso, 2000: Multiagent Systems: A Survey from a Machine Learning Perspective)

• homogeneous non-communicating agents
• heterogeneous non-communicating agents
• homogeneous communicating agents
• heterogeneous communicating agents

Based on the tasks (Hernandez-Leal, et al. 2019. A survey and critique of multiagent deep reinforcement learning)

• Emergent behaviors
• Learning communication
• Learning cooperation
• Agents modeling agents

Based on the game-theoretic perspective (Yang, et al. 2025. Game-Theoretic Multiagent Reinforcement Learning)

• Learning in indentical-interest games
• Learning in zero-sum games
• Learning in general-sum games
• Learning in games when N -> infinity

Paper List

Foundations and Surveys

• Stone and Veloso. Multiagent Systems: A Survey from a Machine Learning Perspective. 2000.
• Hernandez-Leal et al. A Survey and Critique of Multiagent Deep Reinforcement Learning. 2019.
• Zhang, Yang, Basar. Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms. 2021.
• Amato. An Introduction to Centralized Training for Decentralized Execution in Cooperative Multi-Agent Reinforcement Learning. 2024.
• Yang et al. Game-Theoretic Multiagent Reinforcement Learning. arXiv monograph.

Cooperative MARL

• Sunehag et al. Value-Decomposition Networks For Cooperative Multi-Agent Learning. 2017.
• Rashid et al. QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning. 2018.
• Foerster et al. Counterfactual Multi-Agent Policy Gradients. 2018.
• Schroeder de Witt et al. Is Independent Learning All You Need in the StarCraft Multi-Agent Challenge?. 2020.
• Son et al. QTRAN: Learning to Factorize with Transformation for Cooperative Multi-Agent Reinforcement Learning. 2019.
• Wang et al. QPLEX: Duplex Dueling Multi-Agent Q-Learning. 2021.
• Yu et al. The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games. 2022.

Competitive and Game-Theoretic MARL

• Littman. Markov Games as a Framework for Multi-Agent Reinforcement Learning. 1994.
• Littman. Friend-or-Foe Q-learning in General-Sum Games. 2001.
• Hu and Wellman. Nash Q-Learning for General-Sum Stochastic Games. 2003.
• Heinrich and Silver. Deep Reinforcement Learning from Self-Play in Imperfect-Information Games. 2016.
• Brown et al. Deep Counterfactual Regret Minimization. 2019.
• Perolat et al. Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning. 2022.

Mixed-Motive, Opponent Modeling, and Population Methods

• Lowe et al. Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments. 2017.
• Foerster et al. Learning with Opponent-Learning Awareness. 2017.
• Lanctot et al. A Unified Game-Theoretic Approach to Multiagent Reinforcement Learning. 2017.
• Raileanu et al. Modeling Others using Oneself in Multi-Agent Reinforcement Learning. 2018.
• Wen et al. Probabilistic Recursive Reasoning for Multi-Agent Reinforcement Learning. 2019.
• Letcher et al. Stable Opponent Shaping in Differentiable Games. 2019.
• Ma et al. Recursive Reasoning Graph for Multi-Agent Reinforcement Learning. 2022.

Communication and Scalability

• Sukhbaatar et al. Learning Multiagent Communication with Backpropagation. 2016.
• Foerster et al. Learning to Communicate with Deep Multi-Agent Reinforcement Learning. 2016.
• Nguyen et al. Policy Gradient With Value Function Approximation For Collective Multiagent Planning. 2017.
• Zhou et al. Factorized Q-Learning for Large-Scale Multi-Agent Systems. 2018.
• Das et al. TarMAC: Targeted Multi-Agent Communication. 2019.
• Wang et al. From Few to More: Large-scale Dynamic Multiagent Curriculum Learning. 2019.
• Yang et al. Mean Field Multi-Agent Reinforcement Learning. 2018.
• Jiang et al. Graph Convolutional Reinforcement Learning. 2020.
• Liu et al. Multi-Agent Game Abstraction via Graph Attention Neural Network. 2020.
• Wu et al. Learning to Simulate Self-Driven Particles System with Coordinated Policy Optimization. 2021.
• Trott et al. Efficient and Scalable Reinforcement Learning for Large-Scale Network Control. 2024.

Benchmarks and Evaluation

• Samvelyan et al. The StarCraft Multi-Agent Challenge. 2019.
• Bard et al. The Hanabi Challenge: A New Frontier for AI Research. 2020.
• Kurach et al. Google Research Football: A Novel Reinforcement Learning Environment. 2019.
• Lanctot et al. OpenSpiel: A Framework for Reinforcement Learning in Games. 2019.
• Ellis et al. SMACv2: An Improved Benchmark for Cooperative Multi-Agent Reinforcement Learning. 2023.
• Agapiou et al. Melting Pot 2.0. 2023.

the deterministic case the stochastic case

• open-loop: observe s1 and take a1,…,aT – route-based
• cloased-loop: observe a st and take a at – en-route

When the model is unknown: model-based reinforcement learning

• first learn the model
• then learn the policy

World Model

• Transformers are sample-efficient world models
  • sample efficiency is a necessary condition to bridge the gap between research and the deployment of deep RL agents in the wild
  • the best Atari agent learning in imagination is DreamerV2 (Hafner et al., 2021), although it was developed and evaluated with two hundred million frames available, far from the sample-efficient regime. Therefore, designing new world model architectures, capable of handling visually complex and partially observable environments with few samples, is key to realize their potential as surrogate training grounds.
• Dreamer系列

参考资料： https://zhuanlan.zhihu.com/p/617887001 https://zhuanlan.zhihu.com/p/21206144773

V0-ICML2019: Learning Latent Dynamics for Planning from Pixels

研究背景与动机

MBRL（或基于模型的Planning）相较于MFRL的优势：

• Data efficiency
• Planning carries the promise of increasing performance just by increasing the computational budget for searching for actions
• Learned dynamics can be independent of any specific task and thus have the potential to transfer well to other tasks in the environment

现有工作在低维环境中的已经能取得较好表现，但是这些工作假设知道state和reward function。如何在高维的Pixel空间中准确的预测未来的动态依然是一个困难的问题，因此本文希望在紧凑的潜在空间中学习动态，用于快速planning。

研究内容与核心贡献

Latent space planning

• 问题建模为POMDP（Partially observable Markov decision process）：agent只能观测到部分信息（一张图片，并不能揭示整个环境的状态）

理论基础

• 强化学习的数学原理 - 西湖大学赵世钰
• Reinforcement Learning: An Introduction - Richard Sutton
• Reinforcement Learning Course - David Silver
• UIUC CS 598/542 - Nan Jiang
• CMPUT 605: Theoretical Foundations of Reinforcement Learning W2023 - Csaba Szepesvári

实践基础

• 动手学强化学习 - 张伟楠
• 深度强化学习 - 王树森、张志华
• Spinning Up - OpenAI
• UCB CS 285 Deep RL - Pieter Abbeel, Sergey Levine

Libs and Envs

OpenAI Gym: 只提供基础环境，不提供算法

Algorithms and Tricks

General Tricks

Action normalization to [-1, 1]

Soft Actor-Critic (SAC)

SAC用Q-function更新critic而不用V-function更新critic：原始版本是用V的，但是现代版本用Q V的学习会引入额外误差，并且会将误差传递到Q更新当中，并且V是通过Q隐式表示的，因此没有必要再学一个V 好处：模型更简单，更新链路更短，减少误差，更容易稳定收敛 [1] Soft Actor-Critic Algorithms and Applications [2] OpenAI SpinningUP SAC: https://spinningup.openai.com/en/latest/algorithms/sac.html [3] CleanRL SAC: https://docs.cleanrl.dev/rl-algorithms/sac/#explanation-of-the-logged-metrics [4] Pytorch SAC: https://github.com/denisyarats/pytorch_sac/blob/master/agent/sac.py [5] 动手学强化学习 SAC: https://hrl.boyuai.com/chapter/2/sac%E7%AE%97%E6%B3%95/