Description
Cortex est un framework open-source conçu pour rationaliser le déploiement et la gestion des modèles de machine learning en production. Il offre une infrastructure robuste pour la mise à l'échelle efficace des charges de travail ML, répondant à divers besoins opérationnels, des prédictions en temps réel au traitement par lots à grande échelle.
La plateforme prend en charge les charges de travail serverless, permettant des réponses en temps réel qui s'adaptent automatiquement en fonction des volumes de requêtes entrantes. Pour les tâches asynchrones, Cortex peut traiter les requêtes en arrière-plan et s'adapter automatiquement en fonction de la longueur de la file d'attente. Il facilite également le traitement par lots, permettant l'exécution de jobs distribués et tolérants aux pannes à la demande.
La gestion automatisée des clusters est une fonctionnalité clé, offrant un autoscaling élastique pour les clusters utilisant des instances CPU et GPU. Il prend en charge l'exécution de charges de travail sur des instances spot avec des sauvegardes automatisées et permet la création de plusieurs clusters avec des configurations distinctes. Le provisionnement est géré de manière déclarative ou via un fournisseur Terraform, s'intégrant de manière transparente aux pipelines CI/CD.
Cortex met l'accent sur l'observabilité, permettant l'envoi de métriques à n'importe quel outil de monitoring ou l'utilisation de tableaux de bord Grafana préconfigurés. Le streaming des logs est pris en charge pour tout outil de gestion de logs, avec une intégration préconfigurée pour AWS CloudWatch. Le framework est spécifiquement conçu pour AWS EKS, garantissant une mise à l'échelle fiable et rentable des charges de travail. Il s'intègre avec VPC pour la confidentialité des données et IAM pour les flux d'authentification et d'autorisation.
Bien que le projet ne soit plus activement maintenu par ses auteurs d'origine, son architecture et ses fonctionnalités offrent une solution complète pour les organisations cherchant à opérationnaliser le machine learning à grande échelle sur l'infrastructure AWS. L'historique du projet sur GitHub montre un développement continu et des contributions communautaires, reflétant son utilité dans l'espace MLOps.
Fonctionnalités principales de Cortex
Infrastructure de production pour le machine learning à grande échelle
Déployer, gérer et mettre à l'échelle des modèles de machine learning
Charges de travail serverless, temps réel, asynchrones et batch
Gestion automatisée des clusters avec autoscaling
Support des instances spot avec sauvegardes à la demande
Intégrations CI/CD et d'observabilité
Provisionnement via configuration déclarative ou fournisseur Terraform
Capacités de streaming de métriques et de logs
Basé sur AWS EKS pour une mise à l'échelle fiable
Intégration VPC pour la confidentialité des données
Intégration IAM pour l'authentification et l'autorisation
Premiers pas avec Cortex
Installer le CLI Cortex
Configurer votre environnement AWS
Définir la configuration de déploiement de votre modèle ML
Déployer votre modèle sur un cluster Cortex
Surveiller les performances et les logs du modèle
Adapter la taille de votre cluster selon les besoins
Cas d'utilisation de Cortex
- Inférence ML en temps réel
- Traitement ML asynchrone
- Exécution de jobs ML par lots
- Gestion de modèles ML à grande échelle
- Déploiements ML optimisés en coûts
- Intégration de pipeline MLOps
