DBRX LLM

الوصف

تقدم Databricks نموذج DBRX، وهو نموذج لغوي كبير مفتوح ومتطور (LLM) مصمم لإعادة تعريف الكفاءة والجودة في الذكاء الاصطناعي. يضع DBRX معايير جديدة لنماذج LLM المفتوحة، حيث يوفر قدرات كانت حصرية لواجهات برمجة التطبيقات الخاصة بالنماذج المغلقة سابقًا. إنه يتجاوز GPT-3.5 ويتنافس مع Gemini 1.0 Pro، ويظهر قوة خاصة في توليد الأكواد، متفوقًا على نماذج متخصصة مثل CodeLLaMA-70B.

يحقق DBRX أداءه المتقدم من خلال بنية خليط الخبراء (MoE) ذات التفاصيل الدقيقة، مما يتيح استدلالًا أسرع بما يصل إلى مرتين مقارنة بـ LLaMA2-70B وعددًا أقل بكثير من المعلمات النشطة مقارنة بنماذج مثل Grok-1. عند استضافته على Databricks Model Serving، يمكن لـ DBRX تحقيق ما يصل إلى 150 رمزًا في الثانية لكل مستخدم. كما أن تدريب نماذج MoE باستخدام نهج DBRX أكثر كفاءة من حيث FLOPs بحوالي مرتين مقارنة بتدريب النماذج الكثيفة لنفس الجودة المكافئة.

تم تدريب النموذج مسبقًا على 12 تريليون رمز من بيانات النصوص والأكواد، باستخدام مجموعة بيانات منسقة بعناية تم تطويرها باستخدام أدوات Databricks مثل Apache Spark و Unity Catalog. يستخدم DBRX ترميزات الموضع الدورانية (RoPE)، ووحدات الخطية المبوّبة (GLU)، والانتباه المجمع للاستعلامات (GQA)، بحد أقصى لطول السياق يبلغ 32,000 رمز. كلا النموذجين الأساسي (DBRX Base) والنموذج المضبوط بالتعليمات (DBRX Instruct) متاحان على Hugging Face بموجب ترخيص مفتوح.

يتصدر DBRX Instruct في العديد من المعايير، بما في ذلك لوحة المتصدرين لنماذج LLM المفتوحة من Hugging Face و Databricks Model Gauntlet. يُظهر أداءً استثنائيًا في البرمجة والرياضيات، متفوقًا على نماذج مثل Grok-1 و CodeLLaMA-70B في HumanEval و GSM8k. يُظهر DBRX Instruct أيضًا أداءً قويًا في مهام السياق الطويل وتوليد المعلومات المعزز بالاسترجاع (RAG)، متفوقًا على GPT-3.5 Turbo في العديد من السيناريوهات.

تقدم Databricks نموذج DBRX من خلال واجهات برمجة تطبيقات نماذج الأساس (Foundation Model APIs) مع تسعير الدفع حسب الاستخدام وخيارات الإنتاجية المخصصة للتطبيقات الإنتاجية. يمكن للعملاء أيضًا استضافة DBRX بشكل خاص عن طريق تنزيله من Databricks Marketplace ونشره على Model Serving. يُمكّن هذا الإصدار المؤسسات من التحكم في بياناتها ومصيرها في مشهد الذكاء الاصطناعي التوليدي، مما يوفر الوصول إلى أدوات LLM قوية وفعالة.

أبرز ملامح DBRX LLM

• نموذج LLM مفتوح ومتطور

• بنية خليط الخبراء (MoE)

• 132 مليار معلم إجمالي، 36 مليار معلم نشط

• تم تدريبه على 12 تريليون رمز من النصوص والأكواد

• نافذة سياق 32 ألف رمز

• يتجاوز GPT-3.5 في المعايير

• منافس لـ Gemini 1.0 Pro

• أداء قوي في البرمجة والرياضيات

• أسرع بما يصل إلى مرتين في الاستدلال من LLaMA2-70B

• متاح على Hugging Face

• يمكن الوصول إليه عبر واجهات برمجة تطبيقات نماذج الأساس من Databricks

• يدعم توليد المعلومات المعزز بالاسترجاع (RAG)

البدء مع DBRX LLM

1. 1

   الوصول إلى النموذج: استخدم واجهات برمجة تطبيقات نماذج الأساس من Databricks أو قم بالتنزيل من Hugging Face.

2. 2

   المصادقة: قم بإعداد مفاتيح API اللازمة أو بيانات الاعتماد للوصول.

3. 3

   إعداد البيئة: قم بتكوين بيئة التطوير الخاصة بك مع المكتبات المطلوبة.

4. 4

   التكامل عبر API: قم بتطبيق استدعاءات API لـ DBRX في تطبيقاتك.

5. 5

   التحسين: قم بضبط معلمات النموذج أو استفد من Databricks Model Serving لتحسين الأداء.

حالات استخدام DBRX LLM

• توليد الأكواد
• إنشاء المحتوى
• تحليل البيانات
• الإجابة على الأسئلة
• التلخيص
• روبوتات الدردشة
• مساعدة البحث

الأسئلة الشائعة من DBRX LLM

• ما هو DBRX؟

  DBRX هو نموذج لغوي كبير مفتوح للأغراض العامة (LLM) تم تطويره بواسطة Databricks، ويضع معيارًا جديدًا متطورًا لنماذج LLM المفتوحة في مختلف المعايير.

• كيف يقارن DBRX بنماذج LLM الأخرى؟

  يتجاوز DBRX نموذج GPT-3.5 وهو منافس لـ Gemini 1.0 Pro. كما أنه يتفوق في مهام البرمجة، متجاوزًا نماذج متخصصة مثل CodeLLaMA-70B.

• ما الذي يجعل DBRX فعالاً؟

  يستخدم DBRX بنية خليط الخبراء (MoE) ذات التفاصيل الدقيقة، مما يحسن أداء التدريب والاستدلال، ويجعله أسرع بما يصل إلى مرتين من LLaMA2-70B.

• على أي نوع من البيانات تم تدريب DBRX؟

  تم تدريب DBRX مسبقًا على 12 تريليون رمز من بيانات النصوص والأكواد المنسقة بعناية.

• ما هو حجم نافذة السياق لـ DBRX؟

  يحتوي DBRX على حد أقصى لطول السياق يبلغ 32,000 رمز.

• هل DBRX متاح للاستخدام التجاري؟

  نعم، DBRX متاح لعملاء Databricks عبر واجهات برمجة التطبيقات ويمكن استضافته بشكل خاص. كما أن النماذج الأساسية والمضبوطة متاحة على Hugging Face بموجب ترخيص مفتوح.

• ما هي نقاط القوة الرئيسية لـ DBRX؟

  تشمل نقاط القوة الرئيسية لـ DBRX أداءه المتطور في معايير فهم اللغة والبرمجة والرياضيات، إلى جانب كفاءته في التدريب والاستدلال.

• هل يمكن استخدام DBRX لتوليد الأكواد؟

  نعم، DBRX هو نموذج أكواد قادر بشكل خاص، ويتجاوز النماذج المتخصصة مثل CodeLLaMA-70B في مهام البرمجة.

• أين يمكنني الوصول إلى DBRX؟

  DBRX متاح من خلال واجهات برمجة تطبيقات نماذج الأساس من Databricks، ويمكن تنزيل نماذجه الأساسية والمضبوطة من Hugging Face.

• ما هو عدد المعلمات في DBRX؟

  يحتوي DBRX على 132 مليار معلم إجمالي، مع 36 مليار معلم نشط لكل مدخل.