OpenVINO Toolkit

Descrição

OpenVINO é um toolkit abrangente de código aberto projetado para otimizar a implantação de soluções de IA de alto desempenho. Ele capacita os desenvolvedores a criar aplicações que utilizam modelos de IA generativa e convencional, provenientes dos frameworks de modelos mais populares. O toolkit facilita a conversão, otimização e execução eficiente de inferência, maximizando o potencial do hardware Intel®.

Em sua essência, o OpenVINO oferece quatro ferramentas principais para atender a diversas necessidades de implantação. O Pacote Base OpenVINO é para executar e implantar modelos de IA convencionais. Para IA generativa, a ferramenta GenAI OpenVINO simplifica a implantação. O componente Physical AI OpenVINO permite a implantação de modelos VLA em robôs. Além disso, o OpenVINO Model Server fornece uma solução escalável para implantar inferência de IA generativa e convencional em um servidor, suportando implantações cloud-native em ambientes Kubernetes.

As principais capacidades incluem técnicas de compressão de modelos, como compressão pós-treinamento e durante o treinamento com NNCF, para alcançar desempenho ideal. O OpenVINO suporta link direto com o OpenVINO Runtime para inferência local ou integração com o OpenVINO Model Server para inferência escalável no lado do servidor, permitindo que as aplicações sejam escritas uma vez e implantadas em qualquer lugar, beneficiando-se da descoberta automática de dispositivos para maior flexibilidade.

O OpenVINO Runtime está disponível para Linux, Windows e macOS, com APIs Python, C++ e C, garantindo ampla compatibilidade de linguagem e sistema operacional. Seu design de implantação mais leve minimiza dependências externas, simplificando a instalação e o gerenciamento. A compilação personalizada reduz ainda mais o tamanho final do binário. Para aplicações que exigem inicialização rápida, o OpenVINO melhora a latência da primeira inferência utilizando inteligentemente a CPU para a inferência inicial antes de mudar para outros dispositivos, com modelos compilados em cache melhorando ainda mais os tempos de inicialização.

O público-alvo do OpenVINO inclui desenvolvedores de IA, engenheiros de machine learning e pesquisadores focados em implantar modelos de IA de forma eficiente em uma variedade de hardware. A proposta de valor reside em sua capacidade de acelerar a inferência de IA, reduzir a complexidade de implantação e permitir compatibilidade multiplataforma, tornando-o uma ferramenta poderosa para levar a IA para o edge e além.

Recursos principais de OpenVINO Toolkit

• Suporta implantação de modelos de IA generativa e convencional

• Otimiza modelos de IA para inferência de alto desempenho

• Compatível com frameworks de modelos populares (TensorFlow, ONNX, PaddlePaddle)

• Permite inferência em cloud, PCs com IA e dispositivos de edge

• Fornece OpenVINO Runtime para inferência local

• Oferece OpenVINO Model Server para inferência escalável

• Inclui técnicas de compressão de modelos (NNCF)

• Suporta APIs Python, C++ e C

• Compatibilidade multiplataforma (Linux, Windows, macOS)

• Projetado para implantação mais leve com dependências mínimas

• Melhora o tempo de inicialização da aplicação com utilização inteligente de dispositivos

• Descoberta automática de dispositivos para flexibilidade de implantação

Primeiros passos com OpenVINO Toolkit

1. 1

   Instalação: Instale o toolkit OpenVINO.

2. 2

   Conversão de Modelo: Converta seu modelo de IA para o formato OpenVINO.

3. 3

   Otimização: Aplique técnicas de otimização para desempenho.

4. 4

   Inferência: Execute inferência localmente usando o OpenVINO Runtime.

5. 5

   Implantação: Implante modelos no hardware de destino (edge, PC, cloud).

6. 6

   Serviço: Utilize o OpenVINO Model Server para inferência escalável.

Casos de uso de OpenVINO Toolkit

• Implantação de IA no Edge
• Aplicações de PC com IA
• Serviços de IA na Cloud
• IA para Robótica
• Implantação de IA Generativa
• Inferência de IA Convencional

Perguntas frequentes de OpenVINO Toolkit

• O que é OpenVINO?

  OpenVINO é um toolkit de código aberto para implantar soluções de IA de alto desempenho em cloud, PCs com IA e dispositivos de edge, suportando modelos de IA generativa e convencional.

• Que tipos de modelos de IA o OpenVINO suporta?

  OpenVINO suporta modelos de IA generativa e convencional de frameworks populares como TensorFlow, ONNX e PaddlePaddle.

• Onde os modelos OpenVINO podem ser implantados?

  Modelos OpenVINO podem ser implantados em plataformas de cloud, PCs com IA e vários dispositivos de edge.

• Quais são as principais ferramentas dentro do toolkit OpenVINO?

  As principais ferramentas são o Pacote Base OpenVINO, GenAI OpenVINO, Physical AI OpenVINO e OpenVINO Model Server.

• O OpenVINO oferece otimização de modelos?

  Sim, o OpenVINO oferece técnicas de compressão de modelos, incluindo compressão pós-treinamento e durante o treinamento com NNCF, para melhorar o desempenho.

• Quais linguagens de programação são suportadas pelo OpenVINO Runtime?

  O OpenVINO Runtime fornece APIs Python, C++ e C para desenvolvimento.

• O OpenVINO é compatível com diferentes sistemas operacionais?

  Sim, o OpenVINO Runtime suporta Linux, Windows e macOS.

• Como o OpenVINO ajuda na inicialização mais rápida de aplicações?

  O OpenVINO reduz a latência da primeira inferência usando a CPU inicialmente e depois mudando para outros dispositivos, com modelos em cache melhorando ainda mais o tempo de inicialização.

• O OpenVINO pode ser usado para inferência de IA no lado do servidor?

  Sim, o OpenVINO Model Server é projetado para implantar inferência de IA em um servidor, suportando aplicações escaláveis e cloud-native.

• Qual é o benefício da implantação mais leve do OpenVINO?

  O design de implantação mais leve minimiza dependências externas, simplificando a instalação e reduzindo o footprint da aplicação.