Intel Gaudi 文档

描述

欢迎阅读 Intel® Gaudi® AI 加速器的官方文档，涵盖版本 v1.24 及更早版本。本资源旨在帮助开发人员和研究人员充分发挥 Intel® Gaudi® 2 和 Intel® Gaudi® 3 AI 加速器的潜力。

本档提供了深入的信息，以帮助您使用 Gaudi 硬件。您将找到有关将现有 AI 模型迁移到 Gaudi 平台的详细指南，确保平稳过渡。其中包含实用的代码示例，用于说明各种功能并加速您的开发过程。

此外，本档还深入探讨了在 Gaudi 上调试和优化 AI 工作负载的最佳实践。这包括性能调优技巧、架构洞察以及实现最大效率的策略。提供了全面的 API 参考，以帮助您理解和利用 Gaudi 的全部功能。

关键部分涵盖软件安装和平台访问，使您能够正确设置环境。对训练和扩展功能进行了说明，并提供了有关训练 PyTorch 模型、使用 DeepSpeed 运行大型模型以及使用分布式训练技术进行多节点训练的特定指导。对于推理，本档详细介绍了如何运行 PyTorch 推理、利用 vLLM 和 SGLang 进行高效模型服务，以及使用 FP8 或 INT4 数据类型处理量化模型。

本档是与 Intel Gaudi 相关的所有信息的中心枢纽，确保用户拥有构建和部署尖端 AI 应用所需的工具和知识。可以通过“版本”按钮访问旧版文档。鼓励您提供关于您体验的反馈，以帮助改进未来的迭代。

Intel Gaudi 文档的核心功能

• Intel Gaudi 2 和 Gaudi 3 AI 加速器文档

• 关于将 AI 模型迁移到 Gaudi 的指南

• 各种功能的代码示例

• 调试和优化最佳实践

• Gaudi 硬件和软件的 API 参考

• 软件安装和平台访问指南

• 训练 PyTorch 模型说明

• 支持使用 DeepSpeed 进行大型模型训练

• 多节点分布式训练功能

• PyTorch 推理指南

• 使用 vLLM 和 SGLang 进行推理

• 支持 FP8 和 INT4 量化模型

• 模型服务功能

Intel Gaudi 文档入门

1. 1

   安装软件：遵循安装指南设置必要的软件和系统配置。

2. 2

   访问平台：了解如何在您选择的平台上运行 Intel Gaudi Docker 镜像。

3. 3

   开始训练：开始训练 PyTorch 模型，并探索使用 DeepSpeed 运行大型模型的选项。

4. 4

   扩展训练：使用分布式训练技术实现多节点训练。

5. 5

   运行推理：开始运行 PyTorch 推理，并探索 vLLM 和 SGLang 等高级推理引擎。

6. 6

   优化模型：使用 FP8 或 INT4 数据类型运行量化模型。

7. 7

   部署模型：探索模型服务的选项。

Intel Gaudi 文档的使用案例

• 模型迁移
• AI 模型训练
• 大型模型部署
• 优化推理
• 性能调优
• 平台设置

Intel Gaudi 文档的常见问题

• Intel Gaudi 文档涵盖哪些 AI 加速器？

  该文档涵盖 Intel® Gaudi® 2 AI 加速器和 Intel® Gaudi® 3 AI 加速器。

• 在哪里可以找到有关将模型迁移到 Gaudi 的信息？

  文档中提供了有关将模型迁移到 Gaudi 的详细指南。

• 文档是否包含代码示例？

  是的，文档提供了实用的代码示例以协助用户。

• 如何优化我在 Gaudi 上的 AI 模型？

  文档提供了优化最佳实践，包括有关使用 FP8 或 INT4 数据类型处理量化模型的信息。

• 软件安装的步骤是什么？

  您可以在文档的“安装指南”部分找到详细说明。

• 如何设置和运行 Gaudi 上的训练？

  文档包含“训练和扩展”部分，涵盖了设置 PyTorch 模型和分布式训练。

• 模型推理有哪些可用选项？

  文档详细介绍了如何运行 PyTorch 推理、使用 vLLM、SGLang 以及处理量化模型。

• 我可以访问旧版本的文档吗？

  是的，可以使用页面右下角的“版本”按钮访问旧版本的文档。

• Intel Gaudi 文档的目的是什么？

  目的是为使用 Intel Gaudi AI 加速器提供全面的资源，涵盖从安装到高级优化和部署的所有内容。

• 文档是否涵盖多节点训练？

  是的，“训练和扩展”部分包含有关使用分布式训练技术进行多节点训练的信息。