Seldon Core

Описание

Seldon Core 2 — это комплексный фреймворк MLOps и LLMOps, предназначенный для развертывания, управления и масштабирования систем ИИ в средах Kubernetes. Он предоставляет стандартизированный подход к развертыванию разнообразных типов моделей, как локально, так и в любом облаке, обеспечивая готовые к эксплуатации приложения «из коробки». Этот фреймворк особенно хорошо подходит для работы как с отдельными моделями, так и со сложными, модульными и ориентированными на данные приложениями.

Возможности фреймворка включают создание композитных ИИ-приложений с помощью конвейеров, которые могут использовать такие технологии, как Kafka, для потоковой передачи данных в реальном времени между различными компонентами. Он предлагает надежные функции автоматического масштабирования как для моделей, так и для компонентов приложений, управляемые встроенной или пользовательской логикой. Для экономической эффективности Seldon Core поддерживает обслуживание нескольких моделей, позволяя консолидировать несколько моделей на общих серверах вывода, и функцию переподписки (overcommit) для развертывания большего количества моделей, чем позволяет доступная память, что снижает затраты на инфраструктуру для неиспользуемых ресурсов.

Seldon Core также способствует экспериментам благодаря своим возможностям маршрутизации, позволяя проводить A/B-тестирование и теневое развертывание для кандидатных моделей или конвейеров. Пользователи могут реализовывать пользовательскую логику, обнаружение дрейфа и выбросов, а также интегрироваться с большими языковыми моделями (LLM) через подключаемые пользовательские компоненты, беспрепятственно интегрируясь с более широкой экосистемой продуктов ML/AI от Seldon. На фреймворк повлияли исследования в области фреймворков следующего поколения для обслуживания ML-моделей, направленные на удовлетворение ключевых потребностей в продвинутом обслуживании моделей.

Установка и настройка управляются в рамках Kubernetes, с обширной документацией, доступной для серверов, моделей, конвейеров, экспериментов и оптимизации производительности. Seldon Core распространяется на условиях лицензии Business Source License, при этом все вклады также лицензируются на этих условиях. Проект активно развивается, имеет сильное сообщество и регулярные обновления, что делает его мощным инструментом для организаций, стремящихся масштабировать свои инициативы в области ИИ.

Основные функции Seldon Core

• Фреймворк MLOps и LLMOps

• Развертывание нативно для Kubernetes

• Стандартизированное развертывание моделей

• Модульные и ориентированные на данные ИИ-приложения

• Композитные конвейеры ИИ

• Потоковая передача данных в реальном времени с Kafka

• Автоматическое масштабирование моделей и компонентов

• Обслуживание нескольких моделей для экономической эффективности

• Переподписка (Overcommit) для увеличения плотности моделей

• A/B-тестирование и теневое развертывание

• Интеграция пользовательских компонентов (LLM, обнаружение дрейфа)

• Готовность к эксплуатации «из коробки»

• Поддержка локального и облачного развертывания

Как использовать Seldon Core?

1. 1

   Развертывание: Упакуйте и разверните ваши модели машинного обучения и ИИ-приложения на Kubernetes.

2. 2

   Настройка: Настройте конвейеры, автоматическое масштабирование и конфигурации обслуживания нескольких моделей.

3. 3

   Интеграция: Интегрируйте пользовательские компоненты для расширенной логики и LLM.

4. 4

   Мониторинг: Используйте встроенные возможности мониторинга для производственных систем.

5. 5

   Управление: Контролируйте и управляйте тысячами производственных моделей машинного обучения.

6. 6

   Оптимизация: Настройте производительность и экспериментируйте с различными стратегиями маршрутизации моделей.

Варианты использования Seldon Core

• Развертывание моделей
• Оркестрация ИИ-приложений
• Вывод в реальном времени
• Оптимизация затрат
• Эксперименты с моделями
• LLMOps
• Ориентированный на данные ИИ

Часто задаваемые вопросы Seldon Core

• Что такое Seldon Core?

  Seldon Core — это фреймворк MLOps и LLMOps для упаковки, развертывания, мониторинга и управления тысячами производственных моделей машинного обучения и систем ИИ на Kubernetes.

• Каковы основные преимущества использования Seldon Core?

  Основные преимущества включают стандартизированное развертывание в облаках, создание модульных приложений, автоматическое масштабирование, экономичное обслуживание нескольких моделей и расширенные возможности для экспериментов.

• Может ли Seldon Core обрабатывать сложные ИИ-приложения?

  Да, Seldon Core поддерживает создание композитных ИИ-приложений с помощью конвейеров и пользовательских компонентов, обеспечивая сложную логику и интеграцию LLM.

• Как Seldon Core помогает оптимизировать затраты?

  Он предлагает обслуживание нескольких моделей для консолидации моделей на общих серверах и функцию переподписки (overcommit) для развертывания большего количества моделей, чем позволяет доступная память, что снижает затраты на инфраструктуру.

• Какие среды развертывания поддерживает Seldon Core?

  Seldon Core поддерживает развертывание локально или в любой облачной среде, используя Kubernetes для оркестрации.

• Какова роль конвейеров в Seldon Core?

  Конвейеры позволяют пользователям развертывать композитные ИИ-приложения, обеспечивая потоковую передачу данных в реальном времени между компонентами, часто с использованием Kafka.

• Поддерживает ли Seldon Core пользовательскую логику и LLM?

  Да, он позволяет реализовывать пользовательскую логику, обнаружение дрейфа и выбросов, а также интеграцию с LLM через подключаемые пользовательские компоненты.

• Какие функции для экспериментов доступны?

  Seldon Core поддерживает маршрутизацию данных между кандидатными моделями или конвейерами, включая A/B-тесты и теневое развертывание.

• Каково лицензирование Seldon Core?

  Seldon Core распространяется на условиях лицензии Business Source License.

• Какие языки программирования используются в Seldon Core?

  Основным языком, используемым в репозитории Seldon Core, является Go, со значительным использованием Jupyter Notebooks и Kotlin.