설명
OpenVINO는 고성능 AI 솔루션 배포를 간소화하도록 설계된 포괄적인 오픈 소스 툴킷입니다. 개발자가 가장 인기 있는 모델 프레임워크에서 가져온 생성형 및 기존 AI 모델을 모두 활용하는 애플리케이션을 구축할 수 있도록 지원합니다. 이 툴킷은 Intel® 하드웨어의 잠재력을 극대화하기 위해 변환, 최적화 및 효율적인 추론 실행을 촉진합니다.
핵심적으로 OpenVINO는 다양한 배포 요구 사항을 해결하기 위한 네 가지 주요 도구를 제공합니다. OpenVINO 기본 패키지는 기존 AI 모델을 실행하고 배포하기 위한 것입니다. 생성형 AI의 경우 OpenVINO GenAI 도구가 배포를 단순화합니다. OpenVINO Physical AI 구성 요소는 로봇에서 VLA 모델을 배포할 수 있도록 합니다. 또한 OpenVINO Model Server는 Kubernetes 환경 내 클라우드 네이티브 배포를 지원하며 서버에서 생성형 및 기존 AI 추론을 모두 배포하기 위한 확장 가능한 솔루션을 제공합니다.
주요 기능에는 최적의 성능을 달성하기 위한 NNCF를 사용한 후 학습 및 학습 시 압축과 같은 모델 압축 기술이 포함됩니다. OpenVINO는 로컬 추론을 위한 OpenVINO Runtime과의 직접 링크 또는 확장 가능한 서버 측 추론을 위한 OpenVINO Model Server와의 통합을 지원합니다. 이 툴킷은 한 번 작성하고 어디든 배포할 수 있는 애플리케이션을 지원하며 자동 장치 검색을 통해 향상된 유연성을 제공하는 데 중점을 둡니다.
OpenVINO Runtime은 Linux, Windows 및 macOS에서 Python, C++ 및 C API를 통해 사용할 수 있어 광범위한 언어 및 운영 체제 호환성을 보장합니다. 더 가벼운 배포 설계는 외부 종속성을 최소화하여 설치 및 관리를 단순화합니다. 사용자 지정 컴파일은 최종 바이너리 크기를 더욱 줄입니다. 빠른 시작이 필요한 애플리케이션의 경우 OpenVINO는 초기 추론을 위해 CPU를 지능적으로 활용한 다음 다른 장치로 전환하여 첫 번째 추론 지연 시간을 개선하며, 캐시된 컴파일된 모델은 시작 시간을 더욱 개선합니다.
OpenVINO의 대상 고객에는 다양한 하드웨어에서 AI 모델을 효율적으로 배포하는 데 중점을 둔 AI 개발자, 머신러닝 엔지니어 및 연구원이 포함됩니다. 가치 제안은 AI 추론을 가속화하고 배포 복잡성을 줄이며 플랫폼 간 호환성을 가능하게 하는 능력에 있으며, 이는 AI를 엣지 및 그 이상으로 가져오는 강력한 도구가 됩니다.
OpenVINO Toolkit의 핵심 기능
생성형 및 기존 AI 모델 배포 지원
고성능 추론을 위한 AI 모델 최적화
인기 있는 모델 프레임워크(TensorFlow, ONNX, PaddlePaddle)와 호환
클라우드, AI PC 및 엣지 디바이스에서 추론 가능
로컬 추론을 위한 OpenVINO Runtime 제공
확장 가능한 추론을 위한 OpenVINO Model Server 제공
모델 압축 기술(NNCF) 포함
Python, C++, C API 지원
크로스 플랫폼 호환성(Linux, Windows, macOS)
최소 종속성으로 더 가벼운 배포를 위해 설계됨
지능형 장치 활용으로 애플리케이션 시작 시간 향상
배포 유연성을 위한 자동 장치 검색
OpenVINO Toolkit 시작하기
설치: OpenVINO 툴킷을 설치합니다.
모델 변환: AI 모델을 OpenVINO 형식으로 변환합니다.
최적화: 성능을 위해 최적화 기술을 적용합니다.
추론: OpenVINO Runtime을 사용하여 로컬에서 추론을 실행합니다.
배포: 대상 하드웨어(엣지, PC, 클라우드)에 모델을 배포합니다.
서빙: 확장 가능한 추론을 위해 OpenVINO Model Server를 활용합니다.
OpenVINO Toolkit의 사용 사례
- 엣지 AI 배포
- AI PC 애플리케이션
- 클라우드 AI 서비스
- 로보틱스 AI
- 생성형 AI 배포
- 기존 AI 추론
