نماذج لغة StableLM

الوصف

يمثل مشروع StableLM، الذي تستضيفه Stability AI على GitHub، جهدًا كبيرًا في تطوير نماذج اللغة الكبيرة (LLMs) مفتوحة المصدر. يعمل هذا المستودع كمركز رئيسي للبحث والتطوير المستمر لسلسلة StableLM، ويتم تحديثه باستمرار بنقاط فحص نماذج جديدة وتطورات.

في جوهره، يهدف StableLM إلى توفير نماذج لغة قوية ومتاحة لمجتمع الذكاء الاصطناعي. أصدر المشروع العديد من النماذج البارزة، بما في ذلك StableLM-3B-4E1T، وهو نموذج بـ 3 مليارات معلمة تم تدريبه مسبقًا في ظل نظام متعدد الدورات للتحقيق في تأثير الرموز المتكررة على الأداء. تم تدريب هذا النموذج على 1 تريليون رمز لمدة 4 دورات، مستوحى من الأبحاث حول توسيع نطاق نماذج اللغة المقيدة بالبيانات. بنيته هي محول يعتمد على فك التشفير فقط، مشابه لـ LLaMA، مع تعديلات محددة مثل Rotary Position Embeddings و LayerNorm.

تشمل التكرارات الإضافية نماذج StableLM-Alpha v2، المتوفرة بأحجام 3B و 7B معلمة. تتضمن هذه النماذج تحسينات معمارية مثل SwiGLU وتستخدم مصادر بيانات أعلى جودة، مما يعزز بشكل كبير الأداء اللاحق. تتضمن بيانات التدريب لهذه النماذج مزيجًا مفلترًا من مجموعات البيانات مفتوحة المصدر مثل Falcon RefinedWeb، و RedPajama-Data، و The Pile، و StarCoder، مع التركيز القوي على نص الويب. طول السياق لهذه النماذج هو 4096 رمزًا.

طورت Stability AI أيضًا StableVicuna، وهو ضبط دقيق لـ Vicuna-13B باستخدام RLHF، يهدف إلى إنشاء روبوت محادثة LLM مفتوح المصدر يعتمد على RLHF. نظرًا لترخيص LLaMA غير التجاري، يتم إصدار أوزان StableVicuna كدلتا فوق النموذج الأصلي.

يوفر المستودع موارد للمطورين للبدء، بما في ذلك أدلة البدء السريع ومقتطفات التعليمات البرمجية النموذجية لتشغيل الاستدلال مع نماذج مثل StableLM-Tuned-Alpha-7B على Hugging Face. يشجع المشروع مشاركة المجتمع، ويسعى للحصول على مساهمات لترحيل llama.cpp والاندماج مع Open Assistant لجمع بيانات التغذية الراجعة. يُنصح المستخدمون بأنه، كما هو الحال مع أي LLM مدرب مسبقًا، قد تختلف جودة الاستجابات وقد تتضمن محتوى مسيئًا، ومن المتوقع أن يتحسن هذا مع مزيد من التطوير وتغذية راجعة المجتمع.

الميزات الأساسية لـ نماذج لغة StableLM

• مستودع تطوير نماذج لغة مفتوحة المصدر

• يستضيف سلسلة نماذج لغة StableLM

• يتم تحديثه باستمرار بنقاط فحص جديدة

• يشمل نماذج مثل StableLM-3B-4E1T

• يحتوي على نماذج StableLM-Alpha v2 (3B و 7B)

• يوفر StableVicuna، وهو ضبط دقيق لـ RLHF

• يقدم تقارير فنية ونظرات عامة على النماذج

• يشمل تعليمات برمجية نموذجية للاستدلال

• يشجع على مساهمات المجتمع والتغذية الراجعة

• النماذج متاحة بموجب تراخيص CC BY-SA-4.0 و CC BY-NC-SA-4.0

• التعليمات البرمجية مرخصة بموجب ترخيص Apache 2.0

البدء مع نماذج لغة StableLM

1. 1

   استنساخ: استنسخ المستودع إلى جهازك المحلي.

2. 2

   تثبيت التبعيات: قم بتثبيت المكتبات والأطر اللازمة.

3. 3

   تنزيل النموذج: احصل على نقاط فحص نموذج StableLM المطلوبة من Hugging Face.

4. 4

   التكوين: قم بإعداد البيئة والمعلمات للاستدلال أو الضبط الدقيق.

5. 5

   التنفيذ: قم بتشغيل البرامج النصية المقدمة للاستدلال أو استخدام النموذج المخصص.

6. 6

   التكامل: قم بدمج النماذج في تطبيقاتك أو مشاريعك البحثية.

حالات استخدام نماذج لغة StableLM

• أبحاث نماذج اللغة
• تطوير روبوتات المحادثة بالذكاء الاصطناعي
• توليد النصوص
• فهم اللغة الطبيعية
• الضبط الدقيق لمهام محددة
• تطوير الذكاء الاصطناعي مفتوح المصدر

الأسئلة الشائعة من نماذج لغة StableLM

• ما هو StableLM؟

  StableLM هي سلسلة من نماذج اللغة مفتوحة المصدر التي طورتها Stability AI، وتركز على تطوير قدرات لغة الذكاء الاصطناعي.

• أين يمكنني العثور على نماذج StableLM؟

  يتم استضافة جميع نماذج StableLM على مركز Hugging Face، مع توفير الروابط في المستودع.

• ما هي شروط الترخيص لنماذج StableLM؟

  نقاط فحص النموذج الأساسي مرخصة بموجب CC BY-SA-4.0، بينما نقاط الفحص المضبوطة بدقة مرخصة بموجب CC BY-NC-SA-4.0.

• ما نوع النماذج المتاحة في سلسلة StableLM؟

  تشمل السلسلة نماذج مثل StableLM-3B-4E1T، و StableLM-Alpha v2 (3B و 7B)، و StableVicuna (ضبط دقيق لـ RLHF).

• ما هو طول السياق لنماذج StableLM-Alpha v2؟

  طول السياق لنماذج StableLM-Alpha v2 هو 4096 رمزًا.

• كيف يمكنني المساهمة في مشروع StableLM؟

  يمكنك المساهمة عن طريق ترحيل llama.cpp للعمل مع StableLMs أو عن طريق توفير بيانات تغذية راجعة عالية الجودة تم إنشاؤها بواسطة الإنسان لـ Open Assistant.

• ما هي المشكلات المحتملة مع نماذج StableLM؟

  كما هو الحال مع أي LLM مدرب مسبقًا، قد تختلف جودة الاستجابات وقد تتضمن لغة أو آراء مسيئة محتملة.

• ما هي بنية StableLM-3B-4E1T؟

  إنها محول يعتمد على فك التشفير فقط مشابه لبنية LLaMA مع تعديلات مثل Rotary Position Embeddings و LayerNorm.

• ما هي مجموعات البيانات التي تم استخدامها لتدريب StableLM-Alpha v2؟

  تتضمن بيانات التدريب Falcon RefinedWeb، و RedPajama-Data، و The Pile، و StarCoder، مع معدل أخذ عينات مرتفع لنص الويب.

• هل يمكنني استخدام نماذج StableLM للأغراض التجارية؟

  النماذج الأساسية مرخصة بموجب CC BY-SA-4.0، ولكن النماذج المضبوطة بدقة مثل StableLM-Tuned-Alpha مرخصة بموجب CC BY-NC-SA-4.0، مما يقيد الاستخدام التجاري.