نموذج لغة Phi-2

الوصف

قدمت Microsoft Research نموذج Phi-2، وهو تقدم كبير في مجال نماذج اللغة الصغيرة (SLMs). يعرض هذا النموذج الذي يضم 2.7 مليار معامل قدرات ملحوظة في الاستدلال وفهم اللغة، مما يجعله رائدًا بين نماذج اللغة الأساسية التي تقل عن 13 مليار معامل. يحقق Phi-2 أداءً رائدًا في مختلف المعايير، وغالبًا ما يضاهي أو يتفوق على النماذج الأكبر منه بـ 25 مرة. يُعزى هذا القفزة في الأداء إلى تقنيات توسيع النماذج المبتكرة والتنسيق الدقيق لبيانات التدريب.

يعتمد تطوير Phi-2 على النماذج السابقة في مجموعة Phi، بما في ذلك Phi-1 و Phi-1.5. بينما تفوق Phi-1 في برمجة Python، أظهر Phi-1.5 أداءً مماثلاً للنماذج الأكبر منه بخمس مرات في الاستدلال المنطقي وفهم اللغة. يقوم Phi-2 بتحسين هذه القدرات بشكل أكبر من خلال دمج المعرفة من Phi-1.5 في بنية أكبر، مما يسرع تقارب التدريب ويعزز نتائج المعايير.

أحد الرؤى الرئيسية التي تدفع نجاح Phi-2 هو الدور الحاسم لجودة بيانات التدريب. اعتمدت Microsoft Research تركيزًا شديدًا على البيانات "ذات جودة الكتب المدرسية"، بما في ذلك مجموعات البيانات الاصطناعية المصممة لتعليم الاستدلال المنطقي، والمعرفة العامة، والعلوم، والأنشطة اليومية، ونظرية العقل. يتم تعزيز ذلك ببيانات ويب مفلترة بعناية تم اختيارها لقيمتها التعليمية وجودة محتواها. يعتمد النموذج على بنية Transformer، وتم تدريبه على 1.4 تريليون رمز من خلال تمريرات متعددة على مزيج من مجموعات البيانات الاصطناعية وبيانات الويب لمهام معالجة اللغة الطبيعية والبرمجة.

Phi-2 متاح في كتالوج نماذج Azure AI Studio، مما يعزز البحث والتطوير. على الرغم من عدم خضوعه للتعلم المعزز من ردود فعل بشرية (RLHF) أو الضبط الدقيق للتعليمات، يُظهر Phi-2 سلوكًا أفضل فيما يتعلق بالسمية والتحيز مقارنة ببعض النماذج مفتوحة المصدر المتوافقة. هذا يتفق مع الملاحظات في Phi-1.5، ويعزى إلى تقنيات تنسيق البيانات المخصصة.

يجعل حجم Phi-2 المدمج منه منصة ممتازة للباحثين الذين يستكشفون مجالات مثل قابلية التفسير الآلي، وتحسينات السلامة، وتجارب الضبط الدقيق عبر مهام متنوعة. يتنافس أداؤه في المعايير المعقدة، بما في ذلك Big Bench Hard، والاستدلال المنطقي، وفهم اللغة، والرياضيات، والبرمجة، مع نماذج أكبر مثل Mistral 7B ونماذج Llama-2، بل ويتنافس مع Gemini Nano 2.

أبرز ملامح نموذج لغة Phi-2

• 2.7 مليار معامل

• أداء رائد للنماذج التي تقل عن 13 مليار معامل

• يتفوق على نماذج أكبر بـ 25 مرة في المعايير المعقدة

• قدرات متقدمة في الاستدلال وفهم اللغة

• تم تدريبه على بيانات "ذات جودة الكتب المدرسية" وبيانات ويب منسقة

• بنية تعتمد على Transformer

• هدف التنبؤ بالكلمة التالية

• تم تدريبه على 1.4 تريليون رمز

• متاح في كتالوج نماذج Azure AI Studio

• يُظهر أداءً قويًا بدون RLHF أو الضبط الدقيق للتعليمات

• يُظهر سمية وتحيزًا أقل مقارنة ببعض النماذج المتوافقة

• مثالي للبحث وقابلية التفسير وتجارب الضبط الدقيق

البدء مع نموذج لغة Phi-2

1. 1

   الوصول إلى النموذج: حدد موقع Phi-2 ضمن كتالوج نماذج Azure AI Studio.

2. 2

   المصادقة: قم بإعداد بيانات اعتماد المصادقة اللازمة لخدمات Azure AI.

3. 3

   إعداد البيئة: قم بتكوين بيئة التطوير الخاصة بك مع المكتبات وأدوات SDK المطلوبة.

4. 4

   التكامل عبر API: استخدم نقاط نهاية API المقدمة لإرسال المطالبات واستقبال مخرجات النموذج.

5. 5

   التجريب: ابدأ الضبط الدقيق أو إجراء تجارب بحثية باستخدام قدرات النموذج.

حالات استخدام نموذج لغة Phi-2

• استكشاف الأبحاث
• تجارب الضبط الدقيق
• مهام الاستدلال
• فهم اللغة
• الاستدلال المنطقي

الأسئلة الشائعة من نموذج لغة Phi-2

• ما هو Phi-2؟

  Phi-2 هو نموذج لغة بمعاملات 2.7 مليار تم تطويره بواسطة Microsoft Research، معروف بقدراته القوية في الاستدلال وفهم اللغة.

• كيف يقارن Phi-2 بالنماذج الأكبر؟

  يحقق Phi-2 أداءً رائدًا بين النماذج التي تقل عن 13 مليار معامل ويضاهي أو يتفوق على نماذج أكبر بـ 25 مرة في المعايير المعقدة.

• ما الذي يجعل بيانات تدريب Phi-2 فريدة؟

  تم تدريب Phi-2 على بيانات "ذات جودة الكتب المدرسية" منسقة بعناية، بما في ذلك مجموعات البيانات الاصطناعية للاستدلال المنطقي والمعرفة العامة، إلى جانب بيانات ويب مفلترة.

• هل Phi-2 متاح للاستخدام العام؟

  نعم، تم إتاحة Phi-2 في كتالوج نماذج Azure AI Studio لتعزيز البحث والتطوير.

• هل يتطلب Phi-2 RLHF لسلوك جيد؟

  لا، يُظهر Phi-2 سلوكًا أفضل فيما يتعلق بالسمية والتحيز مقارنة ببعض النماذج مفتوحة المصدر المتوافقة، على الرغم من عدم خضوعه لـ RLHF أو الضبط الدقيق للتعليمات.

• ما هي الفوائد الرئيسية لاستخدام نموذج لغة صغير مثل Phi-2؟

  نماذج اللغة الصغيرة مثل Phi-2 مثالية للباحثين نظرًا لحجمها المدمج، مما يتيح استكشافًا أسهل لقابلية التفسير والسلامة والضبط الدقيق على مهام مختلفة.

• ما نوع المهام التي يمكن لـ Phi-2 التعامل معها؟

  يتفوق Phi-2 في المعايير المعقدة التي تشمل الاستدلال المنطقي، وفهم اللغة، والرياضيات، والبرمجة.

• ما هو عدد معاملات Phi-2؟

  يحتوي Phi-2 على 2.7 مليار معامل.

• ما هي البنية الأساسية لـ Phi-2؟

  Phi-2 هو نموذج يعتمد على Transformer.

• ما هو هدف التدريب الذي يستخدمه Phi-2؟

  يستخدم Phi-2 هدف التنبؤ بالكلمة التالية.