OpenVINO Toolkit

Описание

OpenVINO — это комплексный набор инструментов с открытым исходным кодом, предназначенный для оптимизации развертывания высокопроизводительных решений ИИ. Он позволяет разработчикам создавать приложения, использующие как генеративные, так и традиционные модели ИИ, полученные из наиболее популярных фреймворков моделей. Набор инструментов облегчает преобразование, оптимизацию и эффективное выполнение инференса, максимально раскрывая потенциал оборудования Intel®.

По своей сути OpenVINO предлагает четыре основных инструмента для решения различных задач развертывания. OpenVINO Base Package предназначен для запуска и развертывания традиционных моделей ИИ. Для генеративного ИИ инструмент OpenVINO GenAI упрощает развертывание. Компонент OpenVINO Physical AI позволяет развертывать модели VLA на роботах. Кроме того, OpenVINO Model Server предоставляет масштабируемое решение для развертывания инференса как генеративного, так и традиционного ИИ на сервере, поддерживая облачные развертывания в средах Kubernetes.

Ключевые возможности включают методы сжатия моделей, такие как сжатие после обучения и во время обучения с помощью NNCF, для достижения оптимальной производительности. OpenVINO поддерживает прямое связывание с OpenVINO Runtime для локального инференса или интеграцию с OpenVINO Model Server для масштабируемого серверного инференса. Набор инструментов делает акцент на быстром и масштабируемом развертывании, позволяя писать приложения один раз и развертывать их где угодно, используя автоматическое обнаружение устройств для повышения гибкости.

OpenVINO Runtime доступен для Linux, Windows и macOS с API для Python, C++ и C, обеспечивая широкую совместимость с языками и операционными системами. Его более легкая конструкция развертывания минимизирует внешние зависимости, упрощая установку и управление. Пользовательская компиляция дополнительно уменьшает размер конечного бинарного файла. Для приложений, требующих быстрой загрузки, OpenVINO сокращает время первого инференса, интеллектуально используя ЦП для начального инференса перед переключением на другие устройства, а кэшированные скомпилированные модели дополнительно улучшают время запуска.

Целевая аудитория OpenVINO включает разработчиков ИИ, инженеров машинного обучения и исследователей, сосредоточенных на эффективном развертывании моделей ИИ на различных аппаратных платформах. Ценностное предложение заключается в его способности ускорять инференс ИИ, снижать сложность развертывания и обеспечивать кроссплатформенную совместимость, что делает его мощным инструментом для внедрения ИИ на периферии и за ее пределами.

Основные функции OpenVINO Toolkit

• Поддерживает развертывание генеративных и традиционных моделей ИИ

• Оптимизирует модели ИИ для высокопроизводительного инференса

• Совместим с популярными фреймворками моделей (TensorFlow, ONNX, PaddlePaddle)

• Обеспечивает инференс на облачных платформах, ИИ-ПК и периферийных устройствах

• Предоставляет OpenVINO Runtime для локального инференса

• Предлагает OpenVINO Model Server для масштабируемого инференса

• Включает методы сжатия моделей (NNCF)

• Поддерживает API для Python, C++ и C

• Кроссплатформенная совместимость (Linux, Windows, macOS)

• Разработан для более легкого развертывания с минимальными зависимостями

• Улучшает время запуска приложений за счет интеллектуального использования устройств

• Автоматическое обнаружение устройств для гибкости развертывания

Начало работы с OpenVINO Toolkit

1. 1

   Установка: Установите набор инструментов OpenVINO.

2. 2

   Преобразование модели: Преобразуйте вашу модель ИИ в формат OpenVINO.

3. 3

   Оптимизация: Примените методы оптимизации для повышения производительности.

4. 4

   Инференс: Выполните инференс локально с помощью OpenVINO Runtime.

5. 5

   Развертывание: Разверните модели на целевом оборудовании (периферия, ПК, облако).

6. 6

   Сервинг: Используйте OpenVINO Model Server для масштабируемого инференса.

Варианты использования OpenVINO Toolkit

• Развертывание ИИ на периферии
• Приложения для ИИ-ПК
• Облачные ИИ-сервисы
• ИИ для робототехники
• Развертывание генеративного ИИ
• Инференс традиционного ИИ

Часто задаваемые вопросы OpenVINO Toolkit

• Что такое OpenVINO?

  OpenVINO — это набор инструментов с открытым исходным кодом для развертывания высокопроизводительных решений ИИ на облачных платформах, ИИ-ПК и периферийных устройствах, поддерживающий как генеративные, так и традиционные модели ИИ.

• Какие типы моделей ИИ поддерживает OpenVINO?

  OpenVINO поддерживает как генеративные, так и традиционные модели ИИ из популярных фреймворков, таких как TensorFlow, ONNX и PaddlePaddle.

• Где можно развертывать модели OpenVINO?

  Модели OpenVINO можно развертывать на облачных платформах, ИИ-ПК и различных периферийных устройствах.

• Какие основные инструменты входят в набор OpenVINO?

  Основные инструменты: OpenVINO Base Package, OpenVINO GenAI, OpenVINO Physical AI и OpenVINO Model Server.

• Предлагает ли OpenVINO оптимизацию моделей?

  Да, OpenVINO предлагает методы сжатия моделей, включая сжатие после обучения и во время обучения с помощью NNCF, для повышения производительности.

• Какие языки программирования поддерживаются OpenVINO Runtime?

  OpenVINO Runtime предоставляет API для Python, C++ и C для разработки.

• Совместим ли OpenVINO с различными операционными системами?

  Да, OpenVINO Runtime поддерживает Linux, Windows и macOS.

• Как OpenVINO помогает ускорить запуск приложений?

  OpenVINO сокращает время первого инференса, сначала используя ЦП, а затем переключаясь на другие устройства, при этом кэшированные модели дополнительно улучшают время запуска.

• Можно ли использовать OpenVINO для серверного инференса ИИ?

  Да, OpenVINO Model Server предназначен для развертывания инференса ИИ на сервере, поддерживая масштабируемые и облачные приложения.

• Каково преимущество более легкого развертывания OpenVINO?

  Более легкая конструкция развертывания минимизирует внешние зависимости, упрощая установку и уменьшая объем приложения.