Intel Gaudi Dokumentation

Beschreibung

Willkommen zur offiziellen Dokumentation für Intel® Gaudi® KI-Beschleuniger, die Versionen bis v1.24 abdeckt. Diese Ressource wurde entwickelt, um Entwickler und Forscher in die Lage zu versetzen, das volle Potenzial der Intel® Gaudi® 2 und Intel® Gaudi® 3 KI-Beschleuniger auszuschöpfen.

Die Dokumentation liefert tiefgehende Informationen, um Ihre Arbeit mit Gaudi-Hardware zu erleichtern. Sie finden detaillierte Anleitungen zur Migration Ihrer bestehenden KI-Modelle auf die Gaudi-Plattform, um einen reibungslosen Übergang zu gewährleisten. Praktische Codebeispiele sind enthalten, um verschiedene Funktionalitäten zu veranschaulichen und Ihren Entwicklungsprozess zu beschleunigen.

Darüber hinaus befasst sich die Dokumentation mit Best Practices für das Debugging und die Optimierung Ihrer KI-Workloads auf Gaudi. Dies umfasst Tipps zur Leistungsoptimierung, Einblicke in die Architektur und Strategien zur Erzielung maximaler Effizienz. Umfassende API-Referenzen stehen zur Verfügung, um Ihnen zu helfen, die volle Bandbreite der Gaudi-Funktionen zu verstehen und zu nutzen.

Schlüsselabschnitte behandeln die Softwareinstallation und den Plattformzugriff, damit Sie Ihre Umgebung korrekt einrichten können. Trainings- und Skalierungsfunktionen werden erläutert, mit spezifischen Anleitungen zum Trainieren von PyTorch-Modellen, zum Ausführen großer Modelle mit DeepSpeed und zum Skalieren von Multi-Node-Trainings mit verteilten Trainingstechniken. Für die Inferenz beschreibt die Dokumentation, wie PyTorch-Inferenz ausgeführt wird, wie vLLM und SGLang für effizientes Model Serving genutzt werden und wie mit quantisierten Modellen unter Verwendung von FP8- oder INT4-Datentypen gearbeitet wird.

Diese Dokumentation dient als zentrale Anlaufstelle für alle Informationen zu Intel Gaudi und stellt sicher, dass Benutzer die notwendigen Werkzeuge und Kenntnisse besitzen, um zukunftsweisende KI-Anwendungen zu erstellen und bereitzustellen. Der Zugriff auf ältere Dokumentationsversionen ist über die Schaltfläche „Versionen“ möglich. Feedback zu Ihrer Erfahrung ist erwünscht, um zukünftige Iterationen zu verbessern.

Intel Gaudi Dokumentation's Kernfunktionen

• Dokumentation für Intel Gaudi 2 und Gaudi 3 KI-Beschleuniger

• Anleitungen zur Migration von KI-Modellen auf Gaudi

• Codebeispiele für verschiedene Funktionalitäten

• Best Practices für Debugging und Optimierung

• API-Referenzen für Gaudi-Hardware und -Software

• Anleitungen zur Softwareinstallation und zum Plattformzugriff

• Anweisungen zum Trainieren von PyTorch-Modellen

• Unterstützung für das Training großer Modelle mit DeepSpeed

• Multi-Node-Distributed-Training-Funktionen

• Anleitungen zur PyTorch-Inferenz

• Inferenz mit vLLM und SGLang

• Unterstützung für FP8 und INT4 quantisierte Modelle

• Model Serving-Funktionen

Erste Schritte mit Intel Gaudi Dokumentation

1. 1

   Software installieren: Folgen Sie der Installationsanleitung, um die notwendige Software und Systemkonfigurationen einzurichten.

2. 2

   Plattform zugreifen: Erfahren Sie, wie Sie das Intel Gaudi Docker Image auf Ihrer gewählten Plattform ausführen.

3. 3

   Training starten: Beginnen Sie mit dem Training von PyTorch-Modellen und erkunden Sie Optionen für das Ausführen großer Modelle mit DeepSpeed.

4. 4

   Training skalieren: Implementieren Sie Multi-Node-Training mit verteilten Trainingstechniken.

5. 5

   Inferenz ausführen: Beginnen Sie mit der Ausführung von PyTorch-Inferenz und erkunden Sie fortgeschrittene Inferenz-Engines wie vLLM und SGLang.

6. 6

   Modelle optimieren: Nutzen Sie FP8- oder INT4-Datentypen für das Ausführen quantisierter Modelle.

7. 7

   Modelle bereitstellen: Erkunden Sie Optionen für Model Serving.

Intel Gaudi Dokumentation's Anwendungsfälle

• Modellmigration
• KI-Modelltraining
• Bereitstellung großer Modelle
• Optimierte Inferenz
• Performance-Tuning
• Plattform-Setup

FAQ von Intel Gaudi Dokumentation

• Welche KI-Beschleuniger deckt die Intel Gaudi Dokumentation ab?

  Die Dokumentation deckt den Intel® Gaudi® 2 KI-Beschleuniger und den Intel® Gaudi® 3 KI-Beschleuniger ab.

• Wo finde ich Informationen zur Migration von Modellen auf Gaudi?

  Detaillierte Anleitungen zur Migration von Modellen auf Gaudi sind in der Dokumentation verfügbar.

• Enthält die Dokumentation Codebeispiele?

  Ja, die Dokumentation bietet praktische Codebeispiele zur Unterstützung der Benutzer.

• Wie kann ich meine KI-Modelle auf Gaudi optimieren?

  Die Dokumentation bietet Best Practices für die Optimierung, einschließlich Informationen zur Verwendung von FP8- oder INT4-Datentypen für quantisierte Modelle.

• Was sind die Schritte zur Softwareinstallation?

  Detaillierte Anweisungen finden Sie im Abschnitt „Installationsanleitung“ der Dokumentation.

• Wie richte ich das Training auf Gaudi ein und führe es aus?

  Die Dokumentation enthält Abschnitte zu „Training und Skalierung“, die die Einrichtung von PyTorch-Modellen und verteiltes Training abdecken.

• Welche Optionen gibt es für die Modellinferenz?

  Die Dokumentation beschreibt, wie PyTorch-Inferenz ausgeführt wird, wie vLLM und SGLang verwendet werden und wie mit quantisierten Modellen gearbeitet wird.

• Kann ich auf ältere Versionen der Dokumentation zugreifen?

  Ja, ältere Versionen der Dokumentation können über die Schaltfläche „Versionen“ auf der rechten unteren Seite der Seite aufgerufen werden.

• Was ist der Zweck der Intel Gaudi Dokumentation?

  Der Zweck ist die Bereitstellung umfassender Ressourcen für die Nutzung von Intel Gaudi KI-Beschleunigern, die alles von der Installation bis zur fortgeschrittenen Optimierung und Bereitstellung abdecken.

• Deckt die Dokumentation Multi-Node-Training ab?

  Ja, der Abschnitt „Training und Skalierung“ enthält Informationen zur Skalierung von Multi-Node-Training mit verteilten Trainingstechniken.