Cortex

Описание

Cortex — это фреймворк с открытым исходным кодом, предназначенный для оптимизации развертывания и управления моделями машинного обучения в производственных средах. Он предлагает надежную инфраструктуру для эффективного масштабирования ML-нагрузок, удовлетворяя различные операционные потребности — от прогнозирования в реальном времени до крупномасштабной пакетной обработки.

Платформа поддерживает бессерверные рабочие нагрузки, обеспечивая ответы в реальном времени, которые автоматически масштабируются в зависимости от объема входящих запросов. Для асинхронных задач Cortex может обрабатывать запросы в фоновом режиме и масштабироваться в соответствии с длиной очереди. Он также облегчает пакетную обработку, позволяя выполнять распределенные и отказоустойчивые задания по запросу.

Автоматизированное управление кластерами является ключевой функцией, обеспечивающей эластичный автоскейлинг кластеров с использованием экземпляров CPU и GPU. Он поддерживает запуск рабочих нагрузок на спотовых экземплярах с автоматическим резервным копированием и позволяет создавать несколько кластеров с различными конфигурациями. Подготовка ресурсов управляется декларативно или через провайдер Terraform, бесшовно интегрируясь с конвейерами CI/CD.

Cortex уделяет особое внимание наблюдаемости, позволяя отправлять метрики в любой инструмент мониторинга или использовать готовые дашборды Grafana. Поддерживается потоковая передача логов в любой инструмент управления логами, с готовой интеграцией для AWS CloudWatch. Фреймворк разработан специально для AWS EKS, обеспечивая надежное и экономически эффективное масштабирование рабочих нагрузок. Он интегрируется с VPC для конфиденциальности данных и IAM для рабочих процессов аутентификации и авторизации.

Хотя проект больше не поддерживается активно его первоначальными авторами, его архитектура и функции предлагают комплексное решение для организаций, стремящихся к операционализации машинного обучения в масштабе на инфраструктуре AWS. История проекта на GitHub демонстрирует непрерывное развитие и вклад сообщества, отражая его полезность в области MLOps.

Основные функции Cortex

• Производственная инфраструктура для масштабируемого машинного обучения

• Развертывание, управление и масштабирование моделей машинного обучения

• Бессерверные, реалтайм, асинхронные и пакетные рабочие нагрузки

• Автоматизированное управление кластерами с автоскейлингом

• Поддержка спотовых экземпляров с резервным копированием по запросу

• Интеграция CI/CD и наблюдаемости

• Подготовка ресурсов через декларативную конфигурацию или провайдер Terraform

• Возможности потоковой передачи метрик и логов

• Построен на AWS EKS для надежного масштабирования

• Интеграция с VPC для конфиденциальности данных

• Интеграция с IAM для аутентификации и авторизации

Начало работы с Cortex

1. 1

   Установить Cortex CLI

2. 2

   Настроить вашу среду AWS

3. 3

   Определить конфигурацию развертывания вашей ML-модели

4. 4

   Развернуть вашу модель в кластер Cortex

5. 5

   Мониторить производительность модели и логи

6. 6

   Масштабировать ваш кластер по мере необходимости

Варианты использования Cortex

• Реалтайм ML-инференс
• Асинхронная ML-обработка
• Выполнение пакетных ML-задач
• Масштабируемое управление ML-моделями
• Экономически эффективное развертывание ML
• Интеграция MLOps-конвейера

Часто задаваемые вопросы Cortex

• Для чего используется Cortex?

  Cortex используется для развертывания, управления и масштабирования моделей машинного обучения в производственных средах, предоставляя инфраструктуру для различных типов рабочих нагрузок.

• Какие типы рабочих нагрузок поддерживает Cortex?

  Cortex поддерживает бессерверные реалтайм, асинхронные и пакетные рабочие нагрузки.

• Как Cortex обрабатывает масштабирование?

  Cortex предлагает автоматизированное управление кластерами с автоскейлингом для экземпляров CPU и GPU и может масштабироваться в зависимости от объемов запросов или длины очереди.

• Для какой облачной платформы разработан Cortex?

  Cortex разработан для AWS, в частности, работает поверх AWS EKS (Elastic Kubernetes Service).

• Предлагает ли Cortex интеграцию CI/CD?

  Да, Cortex включает интеграцию CI/CD и наблюдаемости для оптимизации рабочего процесса MLOps.

• Как Cortex обеспечивает конфиденциальность данных?

  Cortex развертывает кластеры в VPC в вашей учетной записи AWS для обеспечения конфиденциальности данных.

• Каковы функции наблюдаемости Cortex?

  Cortex позволяет отправлять метрики в любой инструмент мониторинга или использовать готовые дашборды Grafana, а также передает логи в любой инструмент управления логами или CloudWatch.

• Может ли Cortex использовать экономичные вычислительные опции?

  Да, Cortex поддерживает запуск рабочих нагрузок на спотовых экземплярах с автоматическим резервным копированием по запросу.

• Активно ли поддерживается Cortex?

  Отмечается, что проект больше не поддерживается активно его первоначальными авторами.

• Какие языки программирования связаны с Cortex?

  Основные языки, связанные с проектом Cortex, — это Go и Python.