博弈论（Game Theory）和多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）是两个密切相关的领域。博弈论研究多个理性决策者之间的交互，而 MARL 研究多个智能体如何通过学习优化其策略。在许多应用中，例如机器人协作、自动驾驶、网络安全等，这两者都发挥着关键作用。
本文整理了一份详细的术语对比表，帮助理解二者在概念上的联系与区别。
术语对比表
| 博弈论（Game Theory） | 多智能体强化学习（MARL） | 解释 |
|---|---|---|
| 玩家（Player） | 智能体（Agent） | 参与决策的个体。博弈论中是理性决策者，MARL 中是通过学习不断改进行为的智能体。 |
| 策略（Strategy） | 策略（Policy） | 决策规则，博弈论中是预定义的，MARL 中通常是学习得到的。 |
| 收益（Payoff） | 回报（Reward） | 采取某个行动后的收益，MARL 中可以是即时奖励或长期回报。 |
| 策略组合（Strategy Profile） / Profile | 联合策略（Joint Policy） | 所有玩家/智能体的策略组合。策略 Profile 影响整体博弈或学习过程。 |
| 最优策略（Optimal Strategy） | 最优策略（Optimal Policy） | 使得收益最大化的策略，在 MARL 中通常通过学习逼近。 |
| 纳什均衡（Nash Equilibrium） | 均衡策略（Equilibrium Policy） | 各方无利可图改变自身策略的稳定状态。 |
| 支配策略（Dominant Strategy） | 最佳响应策略（Best Response Policy） | 在任何情况下总能获得较好收益的策略；MARL 中常用于竞争环境中的最优学习。 |
| 子博弈完美均衡（Subgame Perfect Equilibrium） | 逐步最优策略（Sequential Optimal Policy） | 动态博弈中，每个阶段都达到最优的均衡解。MARL 需保证每个时间步的策略一致性。 |
| 合作博弈（Cooperative Game） | 合作 MARL（Cooperative MARL） | 玩家/智能体可以合作以实现共同目标。 |
| 非合作博弈（Non-Cooperative Game） | 竞争 MARL（Competitive MARL） | 玩家/智能体之间存在竞争关系，优化自身利益。 |
| 混合策略（Mixed Strategy） | 随机策略（Stochastic Policy） | 以概率分布选择行动。 |
| 纯策略（Pure Strategy） | 确定性策略（Deterministic Policy） | 在每种情形下总是采取相同的行动。 |
| 极小极大（Minimax） | Minimax Q-learning | 在零和博弈中最小化损失，MARL 中用于对抗性学习。 |
| 博弈矩阵（Payoff Matrix） | 状态-动作价值表（Q-Table） | 描述收益的表格，在 Q-learning 中类似于 Q-table。 |
| 重复博弈（Repeated Game） | 时间步序列（Episodic Learning） | 参与者进行多次交互，MARL 通过多个时间步或回合进行学习。 |
| 马尔可夫博弈（Markov Game / Stochastic Game） | 多智能体马尔可夫决策过程（Multi-Agent MDP） | 在多智能体决策中引入马尔可夫过程，为 MARL 提供理论框架。 |
| 演化稳定策略（Evolutionarily Stable Strategy, ESS） | 经验回放（Experience Replay） | 通过历史经验优化策略，在 MARL 中用于训练智能体。 |
| 信息完备性（Perfect Information） | 完全观测环境（Fully Observable Environment） | 所有信息均已知。 |
| 信息不完全（Imperfect Information） | 部分观测环境（Partially Observable Environment, POMDP） | 只能观察部分状态信息。 |
| 信号传递（Signaling） | 通信协议（Communication Protocol） | 在信息不对称场景下，博弈论关注信号如何传递；在 MARL 中，智能体可以通过通信协作。 |
| 均衡选择（Equilibrium Selection） | 策略协调 / 协同机制（Policy Coordination / Coordination Mechanism） | 存在多个均衡解时，如何达成共识。MARL 中可以通过奖励设计和协议制定来引导协调。 |
| 合作机制（Cooperation Mechanism） | 联合奖励设计（Joint Reward Design） | 针对合作问题，通过设计共享奖励促进整体最优；在 MARL 中通过联合奖励和信用分配实现团队协作。 |
| 信念更新（Belief Updating） | 对手建模 / 他人策略推断（Opponent Modeling / Policy Inference） | 通过贝叶斯更新等方法修正对其他参与者的信念；MARL 中智能体可能学习估计其他智能体的行为，以更好地协同或竞争。 |