Descripción
Cortex es un framework de código abierto diseñado para optimizar el despliegue y la gestión de modelos de machine learning en entornos de producción. Ofrece una infraestructura robusta para escalar cargas de trabajo de ML de manera eficiente, atendiendo a diversas necesidades operativas, desde predicciones en tiempo real hasta procesamiento por lotes a gran escala.
La plataforma soporta cargas de trabajo serverless, permitiendo respuestas en tiempo real que se autoescalan según los volúmenes de solicitudes entrantes. Para tareas asíncronas, Cortex puede procesar solicitudes en segundo plano y autoescalarse según la longitud de la cola. También facilita el procesamiento por lotes, permitiendo la ejecución bajo demanda de trabajos distribuidos y tolerantes a fallos.
La gestión automatizada de clústeres es una característica central, proporcionando autoescalado elástico para clústeres que utilizan instancias de CPU y GPU. Soporta la ejecución de cargas de trabajo en instancias spot con copias de seguridad automatizadas y permite la creación de múltiples clústeres con configuraciones distintas. El aprovisionamiento se gestiona de forma declarativa o a través de un proveedor de Terraform, integrándose sin problemas con pipelines CI/CD.
Cortex enfatiza la observabilidad, permitiendo enviar métricas a cualquier herramienta de monitorización o utilizar dashboards de Grafana preconstruidos. Se soporta el streaming de logs para cualquier herramienta de gestión de logs, con una integración preconstruida para AWS CloudWatch. El framework está construido específicamente para AWS EKS, asegurando un escalado fiable y rentable de las cargas de trabajo. Se integra con VPC para la privacidad de datos e IAM para flujos de trabajo de autenticación y autorización.
Aunque el proyecto se señala como ya no mantenido activamente por sus autores originales, su arquitectura y características ofrecen una solución integral para organizaciones que buscan operacionalizar el machine learning a escala en infraestructura AWS. El historial del proyecto en GitHub muestra un desarrollo continuo y contribuciones de la comunidad, reflejando su utilidad en el espacio MLOps.
Características principales de Cortex
Infraestructura de producción para machine learning a escala
Desplegar, gestionar y escalar modelos de machine learning
Cargas de trabajo serverless, en tiempo real, asíncronas y por lotes
Gestión automatizada de clústeres con autoescalado
Soporte para instancias spot con copias de seguridad bajo demanda
Integraciones CI/CD y de observabilidad
Aprovisionamiento mediante configuración declarativa o proveedor de Terraform
Capacidades de streaming de métricas y logs
Construido sobre AWS EKS para un escalado fiable
Integración VPC para privacidad de datos
Integración IAM para autenticación y autorización
Primeros pasos con Cortex
Instalar Cortex CLI
Configurar su entorno AWS
Definir la configuración de despliegue de su modelo de ML
Desplegar su modelo en un clúster Cortex
Monitorizar el rendimiento y los logs del modelo
Escalar su clúster según sea necesario
Casos de uso de Cortex
- Inferencia ML en Tiempo Real
- Procesamiento ML Asíncrono
- Ejecución de Trabajos ML por Lotes
- Gestión de Modelos ML a Escala
- Despliegues ML Optimizados en Costo
- Integración de Pipelines MLOps
