Seldon Core

Deskripsi

Seldon Core 2 adalah kerangka kerja MLOps dan LLMOps komprehensif yang dirancang untuk penerapan, pengelolaan, dan penskalaan sistem AI dalam lingkungan Kubernetes. Ini menyediakan pendekatan standar untuk menerapkan beragam jenis model, baik di tempat (on-premises) maupun di cloud mana pun, memastikan aplikasi siap produksi secara langsung. Kerangka kerja ini sangat mahir dalam menangani model tunggal serta aplikasi yang kompleks, modular, dan berpusat pada data.

Kemampuan kerangka kerja ini meluas ke pembangunan aplikasi AI yang dapat disusun melalui pipeline, yang dapat memanfaatkan teknologi seperti Kafka untuk streaming data real-time antar komponen yang berbeda. Ini menawarkan fitur penskalaan otomatis yang kuat untuk model dan komponen aplikasi, yang didorong oleh logika asli atau kustom. Untuk efisiensi biaya, Seldon Core mendukung penyajian multi-model, yang memungkinkan konsolidasi beberapa model pada server inferensi bersama, dan fungsionalitas overcommit untuk menerapkan lebih banyak model daripada memori yang tersedia, mengurangi biaya infrastruktur untuk sumber daya yang kurang dimanfaatkan.

Seldon Core juga memfasilitasi eksperimen melalui kemampuan peruteannya, yang memungkinkan pengujian A/B dan penyebaran bayangan (shadow deployment) untuk model atau pipeline kandidat. Pengguna dapat menerapkan logika kustom, deteksi penyimpangan (drift) dan outlier, serta berintegrasi dengan Large Language Models (LLM) melalui komponen kustom plug-and-play, yang terintegrasi secara mulus dengan ekosistem produk ML/AI Seldon yang lebih luas. Kerangka kerja ini dipengaruhi oleh penelitian tentang generasi berikutnya dari kerangka kerja penyajian model ML, yang bertujuan untuk mengatasi keinginan utama untuk penyajian model tingkat lanjut.

Instalasi dan konfigurasi dikelola di dalam Kubernetes, dengan dokumentasi ekstensif yang tersedia untuk server, model, pipeline, eksperimen, dan penyetelan kinerja. Seldon Core didistribusikan di bawah ketentuan Business Source License, dengan semua kontribusi juga dilisensikan di bawah ketentuan ini. Proyek ini dikembangkan secara aktif, dengan kehadiran komunitas yang kuat dan pembaruan rutin, menjadikannya alat yang ampuh bagi organisasi yang ingin mengoperasionalkan inisiatif AI mereka dalam skala besar.

Fitur Inti Seldon Core

• Kerangka kerja MLOps dan LLMOps

• Penerapan native Kubernetes

• Penerapan model standar

• Aplikasi AI modular dan berpusat pada data

• Pipeline AI yang dapat disusun

• Streaming data real-time dengan Kafka

• Penskalaan otomatis untuk model dan komponen

• Penyajian multi-model untuk efisiensi biaya

• Overcommit untuk peningkatan kepadatan model

• Pengujian A/B dan penyebaran bayangan

• Integrasi komponen kustom (LLM, deteksi penyimpangan)

• Siap produksi secara langsung

• Dukungan penerapan on-premise dan cloud

Cara menggunakan Seldon Core?

1. 1

   Deploy: Kemas dan terapkan model machine learning dan aplikasi AI Anda di Kubernetes.

2. 2

   Configure: Siapkan pipeline, penskalaan otomatis, dan konfigurasi penyajian multi-model.

3. 3

   Integrate: Gabungkan komponen kustom untuk logika lanjutan dan LLM.

4. 4

   Monitor: Manfaatkan kemampuan pemantauan bawaan untuk sistem produksi.

5. 5

   Manage: Awasi dan kelola ribuan model machine learning produksi.

6. 6

   Optimize: Sesuaikan kinerja dan bereksperimen dengan strategi perutean model yang berbeda.

Kasus Penggunaan Seldon Core

• Penerapan Model
• Orkestrasi Aplikasi AI
• Inferensi Real-time
• Optimasi Biaya
• Eksperimen Model
• LLMOps
• AI Berpusat pada Data

FAQ dari Seldon Core

• Apa itu Seldon Core?

  Seldon Core adalah kerangka kerja MLOps dan LLMOps untuk mengemas, menerapkan, memantau, dan mengelola ribuan model machine learning produksi dan sistem AI di Kubernetes.

• Apa manfaat utama menggunakan Seldon Core?

  Manfaat utama meliputi penerapan standar di berbagai cloud, pembangunan aplikasi modular, penskalaan otomatis, penyajian multi-model yang hemat biaya, dan kemampuan eksperimen lanjutan.

• Bisakah Seldon Core menangani aplikasi AI yang kompleks?

  Ya, Seldon Core mendukung pembangunan aplikasi AI yang dapat disusun melalui pipeline dan komponen kustom, memungkinkan logika canggih dan integrasi LLM.

• Bagaimana Seldon Core membantu optimasi biaya?

  Ini menawarkan penyajian multi-model untuk mengkonsolidasikan model pada server bersama dan fungsionalitas overcommit untuk menerapkan lebih banyak model daripada memori yang tersedia, menghemat biaya infrastruktur.

• Lingkungan penerapan apa yang didukung Seldon Core?

  Seldon Core mendukung penerapan on-premise atau di lingkungan cloud mana pun, memanfaatkan Kubernetes untuk orkestrasi.

• Apa peran pipeline di Seldon Core?

  Pipeline memungkinkan pengguna untuk menerapkan aplikasi AI yang dapat disusun, memungkinkan streaming data real-time antar komponen, seringkali memanfaatkan Kafka.

• Apakah Seldon Core mendukung logika kustom dan LLM?

  Ya, ini memungkinkan implementasi logika kustom, deteksi penyimpangan dan outlier, serta integrasi dengan LLM melalui komponen kustom plug-and-play.

• Fitur eksperimen jenis apa yang tersedia?

  Seldon Core mendukung perutean data antar model atau pipeline kandidat, termasuk pengujian A/B dan penyebaran bayangan.

• Apa lisensi untuk Seldon Core?

  Seldon Core didistribusikan di bawah ketentuan Business Source License.

• Bahasa pemrograman apa yang digunakan di Seldon Core?

  Bahasa utama yang digunakan dalam repositori Seldon Core adalah Go, dengan penggunaan signifikan Jupyter Notebook dan Kotlin.