Gymnasium 文档

描述

Gymnasium 作为强化学习 (RL) 研究和开发的一个关键标准 API，提供了一套全面的参考环境。作为 OpenAI 广泛使用的 Gym 库的一个维护分支，Gymnasium 在其前代的基础上进行了改进并提供持续支持。Gymnasium 的接口设计得简单且 Pythonic，易于开发者和研究人员使用。它能够表示广泛的通用 RL 问题，促进标准化实验和基准测试。

对于从旧版 Gym 库迁移的用户，Gymnasium 提供了一个专门的迁移指南，以简化过渡过程。核心功能包括初始化环境，例如“LunarLander-v3”示例，通常会指定一个渲染模式用于可视化。该过程通常从重置环境开始以获取初始观测值。随后，智能体通过采取动作与环境进行交互，这会导致转移到新的状态，并伴随奖励以及回合终止或截断的指示。这种观测、动作和转移的迭代过程是训练 RL 智能体的基础。

Gymnasium 库正在积极维护中，其最新版本 v1.3.0 已可供使用。文档还列出了之前的版本，允许用户在需要时访问特定版本。该项目的开发是透明的，其贡献和代码可通过 GitHub 仓库访问。这种开放的方式促进了社区参与，并确保该库在不断发展的强化学习研究领域保持更新。

Gymnasium 是任何从事强化学习的人员的重要工具，从学习基础知识的学生到推动人工智能边界的资深研究人员。其标准化的 API 和多样化的环境加速了 RL 算法的开发和比较。该库对可用性的关注及其活跃的社区支持使其成为各种 RL 应用的可靠选择。

Gymnasium 文档的核心功能

• 强化学习的标准 API

• 多样化的参考环境集合

• OpenAI Gym 库的维护分支

• 简单且 Pythonic 的接口

• 能够表示通用的 RL 问题

• 旧 Gym 环境的迁移指南

• 环境重置功能

• 用于环境转移的 step 函数

• 用于智能体策略的动作空间采样

• 观测、奖励、终止和截断跟踪

• 环境关闭功能

• 提供多个版本发布

Gymnasium 文档入门

1. 1

   安装：使用包管理器安装 Gymnasium。

2. 2

   初始化：导入库并创建环境实例。

3. 3

   重置：重置环境以获取初始观测值。

4. 4

   行动：从环境的动作空间中采样一个动作。

5. 5

   步进：使用选定的动作转移环境。

6. 6

   观测：接收下一个观测值、奖励和终止状态。

7. 7

   循环：重复步骤 3-6，直到回合终止或截断。

8. 8

   关闭：完成时关闭环境。

Gymnasium 文档的使用案例

• RL 算法开发
• 环境基准测试
• 机器人仿真
• 游戏 AI 开发
• 自主系统
• 教育工具

Gymnasium 文档的常见问题

• 什么是 Gymnasium 及其主要目的是什么？

  Gymnasium 是一个标准的强化学习 API 和一套多样化的参考环境。其主要目的是为开发和测试 RL 算法提供一致的接口。

• Gymnasium 与 OpenAI 的 Gym 库有何关系？

  Gymnasium 是 OpenAI 的 Gym 库的一个维护分支。它建立在 Gym 的基础上，同时提供持续的开发和支持。

• 是什么使得 Gymnasium 接口适合 RL 问题？

  Gymnasium 接口设计得简单且 Pythonic，易于使用，并且能够表示各种通用的强化学习问题。

• 是否有从 OpenAI Gym 迁移到 Gymnasium 的方法？

  是的，Gymnasium 提供了一个迁移指南，以帮助用户将其现有的 OpenAI Gym 环境和代码迁移到 Gymnasium。

• 如何在 Gymnasium 中与环境交互？

  您可以通过首先重置环境以获取初始观测值，然后使用 `step()` 函数采取动作来与 Gymnasium 环境进行交互，该函数返回下一个观测值、奖励和终止状态。

• `env.make()` 中的 `render_mode` 参数有什么作用？

  像 'human' 这样的 `render_mode` 参数允许您在智能体与之交互时可视化环境的状态，这有助于调试和理解智能体行为。

• 如何在 Gymnasium 中处理回合结束？

  当 `terminated` 或 `truncated` 返回 `True` 时，回合结束。此时，您应该重置环境以开始新回合。

• 在哪里可以找到 Gymnasium 的源代码？

  Gymnasium 的源代码可在 GitHub 上找到，这使得社区可以贡献并保证开发过程的透明性。

• Gymnasium 中有哪些可用的环境示例？

  文档中提到了 'LunarLander-v3' 作为示例环境，Gymnasium 提供了各种 RL 任务的多样化参考环境集合。

• 如何访问不同版本的 Gymnasium？

  Gymnasium 文档列出了可用的版本，包括最新的稳定版本 (v1.3.0) 和之前的版本，允许用户选择特定版本。