설명
v1.24까지의 버전을 포함하는 Intel® Gaudi® AI 가속기에 대한 공식 문서에 오신 것을 환영합니다. 이 리소스는 개발자와 연구자가 Intel® Gaudi® 2 및 Intel® Gaudi® 3 AI 가속기의 잠재력을 최대한 활용할 수 있도록 지원합니다.
이 문서는 Gaudi 하드웨어와 함께하는 여정을 촉진하기 위한 심층 정보를 제공합니다. 기존 AI 모델을 Gaudi 플랫폼으로 마이그레이션하는 방법에 대한 자세한 가이드를 찾을 수 있으며, 원활한 전환을 보장합니다. 다양한 기능을 설명하고 개발 프로세스를 가속화하기 위한 실용적인 코드 샘플이 포함되어 있습니다.
또한, 이 문서는 Gaudi에서 AI 워크로드를 디버깅하고 최적화하기 위한 모범 사례를 자세히 다룹니다. 여기에는 성능 튜닝 팁, 아키텍처 인사이트 및 최대 효율성을 달성하기 위한 전략이 포함됩니다. Gaudi의 전체 기능을 이해하고 활용하는 데 도움이 되는 포괄적인 API 참조를 사용할 수 있습니다.
주요 섹션에서는 소프트웨어 설치 및 플랫폼 액세스를 다루어 환경을 올바르게 설정할 수 있도록 합니다. PyTorch 모델 학습, DeepSpeed를 사용한 대규모 모델 실행, 분산 학습 기법을 사용한 다중 노드 학습 확장 방법에 대한 특정 지침과 함께 학습 및 확장 기능이 설명됩니다. 추론을 위해 이 문서는 PyTorch 추론 실행 방법, vLLM 및 SGLang을 사용하여 효율적인 모델 서빙, FP8 또는 INT4 데이터 유형을 사용한 양자화 모델 작업에 대해 자세히 설명합니다.
이 문서는 Intel Gaudi와 관련된 모든 정보에 대한 중앙 허브 역할을 하며, 사용자가 최첨단 AI 애플리케이션을 구축하고 배포하는 데 필요한 도구와 지식을 갖도록 보장합니다. 이전 문서 버전은 '버전' 버튼을 통해 액세스할 수 있습니다. 향후 개선을 돕기 위해 경험에 대한 피드백을 권장합니다.
Intel Gaudi 문서의 핵심 기능
Intel Gaudi 2 및 Gaudi 3 AI 가속기 문서
Gaudi로 AI 모델 마이그레이션에 대한 지침
다양한 기능에 대한 코드 샘플
디버깅 및 최적화를 위한 모범 사례
Gaudi 하드웨어 및 소프트웨어 API 참조
소프트웨어 설치 및 플랫폼 액세스 가이드
PyTorch 모델 학습 지침
DeepSpeed를 사용한 대규모 모델 학습 지원
다중 노드 분산 학습 기능
PyTorch 추론에 대한 지침
vLLM 및 SGLang을 사용한 추론
FP8 및 INT4 양자화 모델 지원
모델 서빙 기능
Intel Gaudi 문서 시작하기
소프트웨어 설치: 설치 가이드를 따라 필요한 소프트웨어 및 시스템 구성을 설정합니다.
플랫폼 액세스: 선택한 플랫폼에서 Intel Gaudi Docker 이미지를 실행하는 방법을 알아봅니다.
학습 시작: PyTorch 모델 학습을 시작하고 DeepSpeed를 사용한 대규모 모델 실행 옵션을 탐색합니다.
학습 확장: 분산 학습 기법을 사용하여 다중 노드 학습을 구현합니다.
추론 실행: PyTorch 추론 실행을 시작하고 vLLM 및 SGLang과 같은 고급 추론 엔진을 탐색합니다.
모델 최적화: 양자화 모델 실행을 위해 FP8 또는 INT4 데이터 유형을 활용합니다.
모델 배포: 모델 서빙 옵션을 탐색합니다.
Intel Gaudi 문서의 사용 사례
- 모델 마이그레이션
- AI 모델 학습
- 대규모 모델 배포
- 최적화된 추론
- 성능 튜닝
- 플랫폼 설정
