説明
OpenVINOは、高性能AIソリューションのデプロイメントを効率化するために設計された包括的なオープンソースツールキットです。開発者は、最も一般的なモデルフレームワークから提供される生成AIおよび従来のAIモデルの両方を活用したアプリケーションを構築できます。このツールキットは、Intel®ハードウェアの可能性を最大限に引き出すための変換、最適化、および効率的な推論実行を促進します。
OpenVINOの中核には、さまざまなデプロイメントニーズに対応するための4つの主要ツールがあります。OpenVINO Base Packageは、従来のAIモデルの実行とデプロイメント用です。生成AIについては、OpenVINO GenAIツールがデプロイメントを簡素化します。OpenVINO Physical AIコンポーネントは、ロボット上でのVLAモデルのデプロイメントを可能にします。さらに、OpenVINO Model Serverは、Kubernetes環境内でのクラウドネイティブデプロイメントをサポートし、サーバー上での生成AIおよび従来のAI推論の両方のデプロイメントのためのスケーラブルなソリューションを提供します。
主な機能には、最適なパフォーマンスを実現するための、NNCFを使用したトレーニング後およびトレーニング時の圧縮などのモデル圧縮技術が含まれます。OpenVINOは、ローカル推論のためのOpenVINO Runtimeとの直接リンク、またはスケーラブルなサーバーサイド推論のためのOpenVINO Model Serverとの統合をサポートします。このツールキットは、高速かつスケーラブルなデプロイメントを重視しており、アプリケーションは一度記述すればどこにでもデプロイでき、自動デバイス検出による柔軟性の向上から恩恵を受けられます。
OpenVINO Runtimeは、Linux、Windows、macOSで利用可能であり、Python、C++、C APIを備えているため、幅広い言語とオペレーティングシステムとの互換性が保証されます。より軽量なデプロイメント設計により、外部依存関係が最小限に抑えられ、インストールと管理が簡素化されます。カスタムコンパイルにより、最終的なバイナリサイズがさらに削減されます。迅速な起動を必要とするアプリケーションのために、OpenVINOは、初期推論にCPUをインテリジェントに利用してから他のデバイスに切り替えることで、最初の推論レイテンシを向上させ、キャッシュされたコンパイル済みモデルが起動時間をさらに改善します。
OpenVINOの対象ユーザーは、さまざまなハードウェア上でAIモデルを効率的にデプロイすることに重点を置いたAI開発者、機械学習エンジニア、および研究者です。その価値提案は、AI推論を加速し、デプロイメントの複雑さを軽減し、クロスプラットフォーム互換性を実現する能力にあり、AIをエッジおよびそれ以降に展開するための強力なツールとなっています。
OpenVINO Toolkitの主要機能
生成AIモデルおよび従来のAIモデルのデプロイメントをサポート
高性能推論のためにAIモデルを最適化
一般的なモデルフレームワーク（TensorFlow, ONNX, PaddlePaddle）と互換性あり
クラウド、AI PC、エッジデバイスでの推論を可能にする
ローカル推論のためのOpenVINO Runtimeを提供
スケーラブルな推論のためのOpenVINO Model Serverを提供
モデル圧縮技術（NNCF）を含む
Python, C++, C APIをサポート
クロスプラットフォーム互換性（Linux, Windows, macOS）
最小限の依存関係で軽量なデプロイメント向けに設計
インテリジェントなデバイス利用によりアプリケーション起動時間を改善
デプロイメントの柔軟性のための自動デバイス検出
OpenVINO Toolkitをはじめる
インストール: OpenVINOツールキットをインストールします。
モデル変換: AIモデルをOpenVINO形式に変換します。
最適化: パフォーマンス向上のために最適化技術を適用します。
推論: OpenVINO Runtimeを使用してローカルで推論を実行します。
デプロイメント: 対象ハードウェア（エッジ、PC、クラウド）にモデルをデプロイします。
サービング: スケーラブルな推論のためにOpenVINO Model Serverを利用します。
OpenVINO Toolkitの使用例
- エッジAIデプロイメント
- AI PCアプリケーション
- クラウドAIサービス
- ロボティクスAI
- 生成AIデプロイメント
- 従来のAI推論
