OpenVINO Toolkit

Deskripsi

OpenVINO adalah toolkit open-source komprehensif yang dirancang untuk menyederhanakan penerapan solusi AI berkinerja tinggi. Ini memberdayakan pengembang untuk membangun aplikasi yang memanfaatkan model AI generatif dan konvensional, yang bersumber dari framework model paling populer. Toolkit ini memfasilitasi konversi, optimasi, dan eksekusi inferensi yang efisien, memaksimalkan potensi perangkat keras Intel®.

Pada intinya, OpenVINO menawarkan empat alat utama untuk mengatasi berbagai kebutuhan penerapan. OpenVINO Base Package adalah untuk menjalankan dan menerapkan model AI konvensional. Untuk AI generatif, alat OpenVINO GenAI menyederhanakan penerapan. Komponen OpenVINO Physical AI memungkinkan penerapan model VLA pada robot. Selain itu, OpenVINO Model Server menyediakan solusi terukur untuk menerapkan inferensi AI generatif dan konvensional di server, mendukung penerapan cloud-native dalam lingkungan Kubernetes.

Kemampuan utama meliputi teknik kompresi model, seperti kompresi pasca-pelatihan dan saat pelatihan dengan NNCF, untuk mencapai kinerja optimal. OpenVINO mendukung penautan langsung dengan OpenVINO Runtime untuk inferensi lokal atau integrasi dengan OpenVINO Model Server untuk inferensi sisi server yang terukur. Toolkit ini menekankan penerapan yang cepat dan terukur, memungkinkan aplikasi ditulis sekali dan diterapkan di mana saja, mendapat manfaat dari penemuan perangkat otomatis untuk fleksibilitas yang ditingkatkan.

OpenVINO Runtime tersedia untuk Linux, Windows, dan macOS, dengan API Python, C++, dan C, memastikan kompatibilitas bahasa dan sistem operasi yang luas. Desain penerapan yang lebih ringan meminimalkan dependensi eksternal, menyederhanakan instalasi dan manajemen. Kompilasi kustom lebih lanjut mengurangi ukuran biner akhir. Untuk aplikasi yang membutuhkan start-up cepat, OpenVINO meningkatkan latensi inferensi pertama dengan memanfaatkan CPU secara cerdas untuk inferensi awal sebelum beralih ke perangkat lain, dengan model terkompilasi yang di-cache semakin meningkatkan waktu start-up.

Target audiens untuk OpenVINO meliputi pengembang AI, insinyur machine learning, dan peneliti yang berfokus pada penerapan model AI secara efisien di berbagai perangkat keras. Proposisi nilainya terletak pada kemampuannya untuk mempercepat inferensi AI, mengurangi kompleksitas penerapan, dan memungkinkan kompatibilitas lintas platform, menjadikannya alat yang ampuh untuk membawa AI ke edge dan seterusnya.

Fitur Inti OpenVINO Toolkit

• Mendukung penerapan model AI generatif dan konvensional

• Mengoptimalkan model AI untuk inferensi berkinerja tinggi

• Kompatibel dengan framework model populer (TensorFlow, ONNX, PaddlePaddle)

• Memungkinkan inferensi pada cloud, AI PC, dan perangkat edge

• Menyediakan OpenVINO Runtime untuk inferensi lokal

• Menawarkan OpenVINO Model Server untuk inferensi terukur

• Mencakup teknik kompresi model (NNCF)

• Mendukung API Python, C++, dan C

• Kompatibilitas lintas platform (Linux, Windows, macOS)

• Dirancang untuk penerapan yang lebih ringan dengan dependensi minimal

• Meningkatkan waktu start-up aplikasi dengan pemanfaatan perangkat cerdas

• Penemuan perangkat otomatis untuk fleksibilitas penerapan

Memulai dengan OpenVINO Toolkit

1. 1

   Instalasi: Instal toolkit OpenVINO.

2. 2

   Konversi Model: Konversi model AI Anda ke format OpenVINO.

3. 3

   Optimasi: Terapkan teknik optimasi untuk kinerja.

4. 4

   Inferensi: Jalankan inferensi secara lokal menggunakan OpenVINO Runtime.

5. 5

   Penerapan: Terapkan model pada perangkat target (edge, PC, cloud).

6. 6

   Penyajian: Gunakan OpenVINO Model Server untuk inferensi terukur.

Kasus Penggunaan OpenVINO Toolkit

• Penerapan AI Edge
• Aplikasi AI PC
• Layanan AI Cloud
• AI Robotika
• Penerapan AI Generatif
• Inferensi AI Konvensional

FAQ dari OpenVINO Toolkit

• Apa itu OpenVINO?

  OpenVINO adalah toolkit open-source untuk menerapkan solusi AI berkinerja tinggi di cloud, AI PC, dan perangkat edge, mendukung model AI generatif dan konvensional.

• Jenis model AI apa yang didukung OpenVINO?

  OpenVINO mendukung model AI generatif dan konvensional dari framework populer seperti TensorFlow, ONNX, dan PaddlePaddle.

• Di mana model OpenVINO dapat diterapkan?

  Model OpenVINO dapat diterapkan pada platform cloud, AI PC, dan berbagai perangkat edge.

• Apa saja alat utama dalam toolkit OpenVINO?

  Alat utamanya adalah OpenVINO Base Package, OpenVINO GenAI, OpenVINO Physical AI, dan OpenVINO Model Server.

• Apakah OpenVINO menawarkan optimasi model?

  Ya, OpenVINO menawarkan teknik kompresi model, termasuk kompresi pasca-pelatihan dan saat pelatihan dengan NNCF, untuk meningkatkan kinerja.

• Bahasa pemrograman apa yang didukung oleh OpenVINO Runtime?

  OpenVINO Runtime menyediakan API Python, C++, dan C untuk pengembangan.

• Apakah OpenVINO kompatibel dengan sistem operasi yang berbeda?

  Ya, OpenVINO Runtime mendukung Linux, Windows, dan macOS.

• Bagaimana OpenVINO membantu mempercepat start-up aplikasi?

  OpenVINO mengurangi latensi inferensi pertama dengan menggunakan CPU pada awalnya dan kemudian beralih ke perangkat lain, dengan model yang di-cache semakin meningkatkan waktu start-up.

• Bisakah OpenVINO digunakan untuk inferensi AI sisi server?

  Ya, OpenVINO Model Server dirancang untuk menerapkan inferensi AI di server, mendukung aplikasi terukur dan cloud-native.

• Apa manfaat dari penerapan OpenVINO yang lebih ringan?

  Desain penerapan yang lebih ringan meminimalkan dependensi eksternal, menyederhanakan instalasi dan mengurangi jejak aplikasi.