Bento: تشغيل الاستدلال على نطاق واسع

الوصف

Bento هي منصة استدلال شاملة مصممة للسرعة والتحكم، تمكّن فرق الذكاء الاصطناعي من نشر أي نموذج في أي مكان مع تحسين مخصص، وتوسيع فعال، وعمليات مبسطة. إنها تبسّط البنية التحتية للاستدلال مع توفير تحكم دقيق في عمليات النشر، مما يسهل إدارة ومراقبة وتحسين استدلال نماذج الذكاء الاصطناعي.

تدعم Bento نشر مجموعة واسعة من النماذج، بما في ذلك الخيارات مفتوحة المصدر الشائعة مثل Llama 4، و DeepSeek، و Ling/Ring، و Flux، و Qwen، و GPT-OSS، من خلال كتالوج النماذج المفتوح الخاص بها. كما توفر إطار عمل موحد لتعبئة ونشر النماذج المخصصة لأي بنية أو إطار عمل أو وسيط، بما في ذلك النماذج مفتوحة المصدر المضبوطة بدقة والنماذج المخصصة الخاصة. تقوم المنصة بأتمتة عمليات النشر و CI/CD، وتوفر رؤية شاملة، وتحكمًا دقيقًا في الوصول، وتتبعًا للموارد/الحصص.

للتوسع الفعال، تتميز Bento بمحرك Bento Compute Engine، الذي يوفر إدارة ذكية للموارد لتحقيق الاستخدام الأمثل للحوسبة. تدعم التوسع عبر المناطق، والتوسع التلقائي المرن، وتسريع البدء البارد، وتنسيق الحوسبة متعددة السحابات، وقدرات التوسع إلى الصفر. يتمتع المستخدمون بتحكم كامل في بنيتهم التحتية وبيئة النشر الخاصة بهم، مع خيارات للنشر على سحابتهم الخاصة، أو Kubernetes المحلية، أو الاستفادة من Bento Cloud للوصول إلى أحدث أجهزة GPU دون متاعب الشراء، بما في ذلك Nvidia GPUs، و AMD GPUs، و B200، و H100، و MI300X.

تسرّع Bento المسار إلى الإنتاج لتطبيقات الذكاء الاصطناعي من خلال تزويد المطورين بكل ما يحتاجونه لبناء وشحن وتوسيع نطاق استدلال الذكاء الاصطناعي. يشمل ذلك Dev Codespace للتكرار السحابي السريع، و LLM Gateway لواجهة موحدة لجميع مزودي LLM مع تحكم مركزي في التكاليف، وعمليات مبسطة مع إدارة كاملة لدورة حياة النشر، والتحكم في الإصدارات، والتراجعات، واختبار A/B. يتم تحقيق الرؤية الكاملة من خلال المراقبة الشاملة للحوسبة والأداء والمقاييس الخاصة بـ LLM.

تم بناء المنصة لتلبية متطلبات الأمان والامتثال والتشغيل على مستوى المؤسسات، مما يضمن الموثوقية مع اتفاقيات مستوى الخدمة للأداء، والمراقبة على مدار الساعة طوال أيام الأسبوع، وضمانات وقت التشغيل، والفشل التلقائي. تقدم Bento أيضًا هندسة نشر استباقية مع خبراء تقنيين متخصصين، وأبحاث تحسين الاستدلال، والمقارنة المستمرة. يتم الحفاظ على سيادة البيانات من خلال التحكم الكامل في بيانات المستخدم. BentoML هو الآن جزء من Modular.

الميزات الأساسية لـ Bento: تشغيل الاستدلال على نطاق واسع

• نشر أي نموذج في أي مكان

• تحسين استدلال مخصص

• قدرات توسيع فعالة

• عمليات مبسطة

• كتالوج النماذج المفتوح للنماذج مفتوحة المصدر الشائعة

• إطار عمل موحد لتعبئة ونشر النماذج المخصصة

• أتمتة النشر و CI/CD

• رؤية ومراقبة شاملة

• تحكم دقيق في الوصول

• تتبع الموارد والحصص

• إدارة ذكية للموارد لاستخدام الحوسبة

• التوسع عبر المناطق والتوسع التلقائي المرن

• تسريع البدء البارد

• تنسيق الحوسبة متعددة السحابات

• التوسع إلى الصفر

كيفية استخدام Bento: تشغيل الاستدلال على نطاق واسع؟

1. 1

   البناء: قم بتعبئة نموذجك باستخدام الإطار الموحد.

2. 2

   النشر: أتمتة النشر باستخدام خطوط أنابيب CI/CD.

3. 3

   التوسع: استخدم الإدارة الذكية للموارد للتوسع الفعال.

4. 4

   المراقبة: تتبع الأداء وصحة النظام من خلال الرؤية الشاملة.

5. 5

   التحسين: اضبط كل طبقة من طبقات النشر الخاصة بك لتحقيق السرعة والتكلفة والجودة.

حالات استخدام Bento: تشغيل الاستدلال على نطاق واسع

• نشر النماذج
• توسع الاستدلال
• تحسين الأداء
• عمليات مبسطة
• استدلال سحابي أصلي
• خدمة LLM
• استدلال دفعي
• ميزات الذكاء الاصطناعي في الوقت الفعلي

الأسئلة الشائعة من Bento: تشغيل الاستدلال على نطاق واسع

• ما هي Bento: تشغيل الاستدلال على نطاق واسع؟

  Bento هي منصة استدلال مصممة للسرعة والتحكم، تمكّن فرق الذكاء الاصطناعي من نشر أي نموذج في أي مكان مع تحسين مخصص، وتوسيع فعال، وعمليات مبسطة.

• هل يمكنني نشر نماذج مخصصة مع Bento؟

  نعم، توفر Bento إطار عمل موحد لتعبئة ونشر النماذج المخصصة لأي بنية أو إطار عمل أو وسيط، بما في ذلك النماذج مفتوحة المصدر المضبوطة بدقة والنماذج المخصصة الخاصة.

• كيف تتعامل Bento مع التوسع لاستدلال الذكاء الاصطناعي؟

  تتميز Bento بإدارة ذكية للموارد، والتوسع عبر المناطق، والتوسع التلقائي المرن، وتسريع البدء البارد، وتنسيق الحوسبة متعددة السحابات، وقدرات التوسع إلى الصفر للتعامل بكفاءة مع أعباء عمل استدلال الذكاء الاصطناعي.

• ما نوع دعم الأجهزة الذي تقدمه Bento؟

  تدعم Bento أجهزة متنوعة، بما في ذلك Nvidia GPUs، و AMD GPUs، ونماذج محددة مثل B200، و H100، و MI300X، والتي يمكن الوصول إليها عبر Bento Cloud أو خيارات الاستضافة الذاتية.

• هل تقدم Bento أدوات لتسريع المسار إلى الإنتاج للذكاء الاصطناعي؟

  نعم، توفر Bento Dev Codespace للتكرار السحابي السريع، و LLM Gateway للوصول الموحد إلى LLM، وعمليات مبسطة مع إدارة كاملة لدورة حياة النشر.

• ما هي ميزات الرؤية التي توفرها Bento؟

  توفر Bento مراقبة شاملة للحوسبة والأداء، ومقاييس خاصة بـ LLM، وصحة النظام، مما يضمن رؤية كاملة لعمليات الاستدلال الخاصة بك.

• هل Bento مناسبة لنشر المؤسسات؟

  نعم، تم بناء Bento لتلبية متطلبات الأمان والامتثال والتشغيل على مستوى المؤسسات، مما يضمن الموثوقية مع اتفاقيات مستوى الخدمة للأداء، والمراقبة على مدار الساعة طوال أيام الأسبوع، والفشل التلقائي.

• هل يمكنني نشر Bento على بنيتي التحتية الخاصة؟

  نعم، تدعم Bento عمليات النشر المستضافة ذاتيًا في أي مكان، بما في ذلك على أي سحابة أو بيئات Kubernetes محلية، مما يوفر تحكمًا كاملاً في بنيتك التحتية.

• ما هي النماذج مفتوحة المصدر التي يمكن نشرها مع Bento؟

  تدعم Bento النماذج مفتوحة المصدر الشائعة مثل Llama 4، و DeepSeek، و Ling/Ring، و Flux، و Qwen، و GPT-OSS من خلال كتالوج النماذج المفتوح الخاص بها.

• ما هي أنماط الخدمة المتقدمة التي تدعمها Bento؟

  تدعم Bento أنماط الخدمة المتقدمة للتطبيقات التفاعلية، والمهام الطويلة غير المتزامنة، والاستدلال الدفعي على نطاق واسع، وتنسيق سير العمل المعقد مع النماذج المتسلسلة.