Cortex Machine Learning Platform

描述

Cortex 是一个专为大规模机器学习设计的云基础设施平台，使用户能够在生产环境中高效地部署、管理和扩展 ML 模型。该平台支持多种工作负载类型，包括基于请求量自动扩展的无服务器实时响应、基于队列自动扩展的异步处理以及容错的批量处理作业。

关键功能包括具有 CPU 和 GPU 实例弹性自动扩展的自动化集群管理，以及在带自动备份的竞价实例上运行工作负载的能力。Cortex 允许创建具有不同配置的多个集群，从而实现灵活的开发和部署。它与 CI/CD 流水线无缝集成，并提供强大的可观测性功能，将指标发送到监控工具，并将日志流式传输到管理平台。

Cortex 基于 AWS EKS 构建，可确保 ML 工作负载的可靠且经济高效的扩展。它支持在您的 AWS 账户内进行 VPC 部署以保护数据隐私，并与 IAM 集成以实现安全身份验证和授权。该平台非常适合一系列 ML 应用，从模型服务和 MLOps 到微服务以及图像、视频和音频的大规模数据处理。

Cortex 特别有利于希望简化机器学习运营、降低基础设施复杂性并加速 AI 模型部署的组织。它处理大量 API 调用和促进快速开发的能力，使其成为满足苛刻客户需求的团队的宝贵工具。该平台使用户能够扩展计算密集型微服务，而不会遇到超时或资源限制，并能高效地处理大型数据集。

Cortex Machine Learning Platform的核心功能

• 支持带自动扩展的无服务器实时工作负载处理

• 支持带队列自动扩展的异步请求处理

• 分布式且容错的批量处理作业

• 支持带 CPU 和 GPU 实例自动扩展的自动化集群管理

• 支持带自动按需备份的竞价实例

• 支持创建用于多种集群配置的环境

• CI/CD 和可观测性集成

• 声明式配置和 Terraform 提供商支持

• 指标流式传输到监控工具和 Grafana 仪表板

• 日志流式传输到日志管理工具和 CloudWatch 集成

• 基于 AWS EKS 构建，支持可扩展且经济高效的工作负载

• VPC 部署以保护数据隐私

• IAM 集成，用于身份验证和授权

• 用于实时推理的模型服务

• 支持持续模型再训练和评估的 MLOps

如何使用 Cortex Machine Learning Platform？

1. 1

   配置：使用声明式配置或 Terraform 提供商配置集群。

2. 2

   部署：将机器学习模型部署为实时工作负载或批量作业。

3. 3

   扩展：根据请求量、队列长度或数据处理需求自动扩展集群和工作负载。

4. 4

   监控：将指标流式传输到您首选的监控工具，并将日志流式传输到管理平台。

5. 5

   集成：与 CI/CD 流水线连接，并利用可观测性工具实现无缝操作。

Cortex Machine Learning Platform的使用案例

• 模型服务
• MLOps 自动化
• 微服务扩展
• 数据处理
• 实时分析
• 批量推理

Cortex Machine Learning Platform的常见问题

• Cortex 的主要功能是什么？

  Cortex 提供可扩展的云基础设施，用于在生产环境中部署、管理和扩展机器学习模型。

• Cortex 支持哪些类型的工作负载？

  Cortex 支持无服务器实时工作负载、异步处理和分布式批量处理作业。

• Cortex 如何处理扩展？

  Cortex 提供带 CPU 和 GPU 实例的自动化集群自动扩展，并根据请求量或队列长度自动扩展工作负载。

• Cortex 基于哪个云提供商构建？

  Cortex 基于 AWS EKS（弹性 Kubernetes 服务）构建，可实现可靠且经济高效的扩展。

• 我可以在自己的 VPC 中部署 Cortex 吗？

  是的，Cortex 允许您在您的 AWS 账户中的 VPC 中部署集群，以维护数据隐私。

• Cortex 是否支持 MLOps 实践？

  是的，Cortex 通过支持创建持续再训练和评估模型的服务来支持 MLOps。

• Cortex 如何处理日志记录和指标？

  Cortex 将日志流式传输到任何日志管理工具，并将指标流式传输到任何监控工具，并预先集成了 CloudWatch 和 Grafana。

• 使用 Cortex 进行微服务有什么好处？

  Cortex 允许您扩展计算密集型微服务，而无需处理超时或资源限制。

• Cortex 能否处理图像、视频和音频的大型数据集？

  是的，Cortex 可以扩展数据处理流水线，以处理用于图像、视频和音频处理的大型结构化或非结构化数据集。

• Cortex 如何与现有安全工作流集成？

  Cortex 与 IAM 集成，用于身份验证和授权工作流，确保对您的 ML 基础设施的安全访问。

• 使用 Cortex 的竞价实例有什么优势？

  Cortex 允许在带自动按需备份的竞价实例上运行工作负载，从而可能降低成本。

• 如何使用 Cortex 配置集群？

  您可以使用声明式配置或 Terraform 提供商使用 Cortex 配置集群。