LiteRT: Marco de ML en el Dispositivo

Descripción

LiteRT representa la próxima generación de despliegue de aprendizaje automático en el dispositivo de Google, evolucionando desde el ampliamente adoptado TensorFlow Lite. Este marco está diseñado para el despliegue de ML y IA Generativa de alto rendimiento en una gran variedad de plataformas de borde. Proporciona un canal eficiente para la conversión de modelos, la ejecución en tiempo de ejecución y la optimización, específicamente adaptado a las restricciones y demandas de los entornos en el dispositivo.

Construido sobre la base probada de TensorFlow Lite, LiteRT tiene como objetivo ofrecer baja latencia y mayor privacidad para aplicaciones que se ejecutan directamente en miles de millones de dispositivos. Su preparación multiplataforma simplifica el despliegue de capacidades de IA sofisticadas, incluida la IA Generativa, al ofrecer aceleración de hardware simplificada y soporte para múltiples marcos. Los desarrolladores pueden aprovechar los modelos .tflite existentes o convertir modelos de marcos como PyTorch, JAX y TensorFlow. El kit de herramientas de optimización de LiteRT permite la cuantización post-entrenamiento, refinando aún más la eficiencia del modelo.

LiteRT admite una variedad de escenarios de despliegue, desde la integración de modelos pre-entrenados en aplicaciones hasta la creación de modelos personalizados avanzados con optimizaciones profundas específicas del hardware. Está diseñado para capacitar a los desarrolladores para llevar IA de vanguardia, incluidas habilidades agénticas avanzadas y capacidades de planificación de múltiples pasos con modelos como Gemma, directamente al borde. El marco también se enfoca en expandir el soporte de aceleración de hardware, notablemente para NPUs de MediaTek y Qualcomm, desbloqueando el máximo rendimiento para tareas de IA generativa en estos chipsets.

Para los usuarios existentes de TensorFlow Lite, la transición a LiteRT ofrece un rendimiento mejorado y APIs unificadas en plataformas como Android, Escritorio y Web. La introducción de la API CompiledModel simplifica aún más el despliegue al automatizar la selección de hardware y permitir la ejecución asíncrona. LiteRT-LM permite específicamente el despliegue de modelos de lenguaje en dispositivos portátiles y plataformas basadas en navegador, mostrando su versatilidad para diversas aplicaciones de IA en el borde. Se alientan las contribuciones de la comunidad a través de su repositorio de GitHub, y los modelos optimizados de peso abierto son accesibles a través de Hugging Face Hub.

Características principales de LiteRT: Marco de ML en el Dispositivo

• Despliegue de ML y GenAI de alto rendimiento en el dispositivo

• Conversión eficiente de modelos desde PyTorch, JAX, TensorFlow

• Tiempo de ejecución optimizado para plataformas de borde

• Kit de herramientas de cuantización post-entrenamiento

• Compatibilidad multiplataforma (Android, Escritorio, Web)

• Aceleración de hardware simplificada

• Soporte para múltiples marcos

• API CompiledModel para selección automatizada de hardware

• LiteRT-LM para modelos de lenguaje en el dispositivo

• Privacidad mejorada y baja latencia

• Evoluciona de la base de TensorFlow Lite

• Soporta aceleración NPU en chipsets MediaTek y Qualcomm

Primeros pasos con LiteRT: Marco de ML en el Dispositivo

1. 1

   Obtener Modelo: Utilice modelos .tflite existentes o convierta modelos de PyTorch, JAX o TensorFlow.

2. 2

   Optimizar Modelo: Utilice el kit de herramientas de optimización de LiteRT para la cuantización post-entrenamiento.

3. 3

   Desplegar Modelo: Integre su modelo optimizado con LiteRT, seleccionando el acelerador óptimo.

4. 4

   Ejecutar Modelo: Despliegue su aplicación en los dispositivos de borde objetivo.

5. 5

   Explorar Ejemplos: Consulte GitHub para ver aplicaciones de ejemplo completas de extremo a extremo.

6. 6

   Acceder a Modelos: Encuentre modelos GenAI optimizados de peso abierto en Hugging Face.

Casos de uso de LiteRT: Marco de ML en el Dispositivo

• Chatbots en el Dispositivo
• Aplicaciones de IA en el Borde
• IA en Dispositivos Portátiles
• IA Basada en Navegador
• Experiencias de Visión y Audio
• Habilidades Agénticas
• Optimización de Modelos Personalizados
• Despliegue Multiplataforma

Preguntas frecuentes de LiteRT: Marco de ML en el Dispositivo

• ¿Qué es LiteRT?

  LiteRT es el marco en el dispositivo de Google para el despliegue de aprendizaje automático y IA Generativa de alto rendimiento en plataformas de borde, basado en TensorFlow Lite.

• ¿Cuáles son los beneficios de usar LiteRT?

  LiteRT ofrece conversión, tiempo de ejecución y optimización eficientes para ML en el dispositivo, brindando baja latencia y alta privacidad en miles de millones de dispositivos.

• ¿Puedo usar mis modelos existentes de TensorFlow Lite con LiteRT?

  Sí, LiteRT es una evolución de TensorFlow Lite, que ofrece un rendimiento mejorado y APIs unificadas para usuarios existentes.

• ¿Qué formatos de modelo puede convertir LiteRT?

  LiteRT puede convertir modelos de PyTorch, JAX y TensorFlow al formato .tflite para su despliegue en el dispositivo.

• ¿LiteRT soporta aceleración de hardware?

  Sí, LiteRT soporta aceleración de hardware simplificada y ha ampliado el soporte de aceleración NPU para chipsets como MediaTek y Qualcomm.

• ¿Cómo ayuda LiteRT con el despliegue de IA Generativa?

  LiteRT permite el despliegue de chatbots sofisticados en el dispositivo y habilidades agénticas utilizando modelos GenAI optimizados de peso abierto como Gemma.

• ¿Es LiteRT adecuado para desarrolladores que trabajan con modelos personalizados?

  Sí, LiteRT soporta la creación de modelos personalizados y optimizaciones profundas específicas del hardware para un rendimiento máximo.

• ¿Dónde puedo encontrar aplicaciones de ejemplo para LiteRT?

  Aplicaciones de ejemplo completas de extremo a extremo están disponibles en GitHub, mostrando IA en el dispositivo del mundo real con LiteRT.

• ¿Puede LiteRT desplegar modelos de lenguaje en dispositivos portátiles?

  Sí, LiteRT-LM está diseñado específicamente para desplegar modelos de lenguaje en dispositivos portátiles y plataformas basadas en navegador.

• ¿Cómo puedo contribuir al proyecto LiteRT?

  Puede contribuir directamente al proyecto y colaborar con los desarrolladores principales a través de la comunidad de LiteRT en GitHub.

• ¿Dónde puedo encontrar modelos GenAI pre-entrenados para LiteRT?

  Los modelos GenAI optimizados de peso abierto están disponibles en Hugging Face Hub.

• ¿Qué es la API CompiledModel en LiteRT?

  La API CompiledModel en LiteRT automatiza la selección de hardware y permite la ejecución asíncrona para un despliegue simplificado y un rendimiento máximo.