描述
Seldon Core 2 是一个全面的 MLOps 和 LLMOps 框架，专为在 Kubernetes 环境中部署、管理和扩展 AI 系统而设计。它提供了一种标准化的方法来部署各种模型类型，无论是在本地还是在任何云环境中，都能开箱即用地提供生产就绪的应用程序。该框架特别擅长处理单个模型以及复杂、模块化和以数据为中心的应用程序。
该框架的功能包括通过管道构建可组合的 AI 应用程序，这些管道可以利用 Kafka 等技术在不同组件之间进行实时数据流传输。它为模型和应用程序组件提供了强大的自动伸缩功能，由原生或自定义逻辑驱动。为了提高成本效益，Seldon Core 支持多模型服务，允许将多个模型整合到共享的推理服务器上，并提供过载（overcommit）功能，以部署比可用内存允许更多的模型，从而降低未充分利用资源的基础设施成本。
Seldon Core 还通过其路由功能促进实验，支持候选模型或管道的 A/B 测试和影子部署。用户可以实现自定义逻辑、漂移和异常检测，并通过即插即用的自定义组件与大型语言模型（LLM）集成，无缝集成到 Seldon 更广泛的 ML/AI 产品生态系统中。该框架受到下一代 ML 模型服务框架研究的影响，旨在满足高级模型服务的关键需求。
安装和配置在 Kubernetes 中进行管理，并提供有关服务器、模型、管道、实验和性能调优的广泛文档。Seldon Core 在商业源代码许可证（Business Source License）的条款下分发，所有贡献也在此条款下获得许可。该项目正在积极开发中，拥有强大的社区支持和定期更新，使其成为希望大规模运营其 AI 项目的组织的强大工具。
Seldon Core的核心功能
MLOps 和 LLMOps 框架
Kubernetes 原生部署
标准化模型部署
模块化和以数据为中心的 AI 应用程序
可组合的 AI 管道
通过 Kafka 进行实时数据流传输
模型和组件的自动伸缩
用于成本效益的多模型服务
用于提高模型密度的过载（overcommit）
A/B 测试和影子部署
自定义组件集成（LLM、漂移检测）
开箱即用的生产就绪
支持本地和云部署
如何使用 Seldon Core？
部署：在 Kubernetes 上打包和部署您的机器学习模型和 AI 应用程序。
配置：设置管道、自动伸缩和多模型服务配置。
集成：集成自定义组件以实现高级逻辑和 LLM。
监控：利用内置监控功能来管理生产系统。
管理：监督和管理数千个生产机器学习模型。
优化：调整性能并尝试不同的模型路由策略。
Seldon Core的使用案例
- 模型部署
- AI 应用程序编排
- 实时推理
- 成本优化
- 模型实验
- LLMOps
- 以数据为中心的 AI
