الوصف
يعمل Hugging Face Transformers كإطار عمل أساسي لتعريف النماذج المتطورة للتعلم الآلي عبر مجالات متنوعة، بما في ذلك النص، والرؤية الحاسوبية، والصوت، والفيديو، والتطبيقات متعددة الوسائط. هدفه الأساسي هو توحيد تعريفات النماذج، وتعزيز الاتفاق والتوافق عبر النظام البيئي الكامل للذكاء الاصطناعي. يعمل هذا الإطار كمركز محوري حاسم، مما يضمن أن النماذج المعرفة بداخله متوافقة مع مجموعة واسعة من أطر التدريب مثل Axolotl و Unsloth و DeepSpeed و FSDP و PyTorch-Lightning. علاوة على ذلك، فإنه يتكامل بسلاسة مع محركات الاستدلال مثل vLLM و SGLang و TGI، بالإضافة إلى مكتبات النمذجة المجاورة مثل llama.cpp و mlx، وكلها تستفيد من تعريفات النماذج التي يوفرها Transformers.
تلتزم Hugging Face بدعم أحدث النماذج المتطورة وإضفاء الطابع الديمقراطي على إمكانية الوصول إليها. يتم تحقيق ذلك من خلال جعل تعريفات النماذج بسيطة وقابلة للتخصيص وفعالة. يستضيف Hugging Face Hub أكثر من مليون نقطة فحص لنماذج Transformers، وهي متاحة بسهولة للمستخدمين لاستكشافها ودمجها في مشاريعهم. تقدم المنصة أيضًا جدولًا زمنيًا للنماذج، يعرض أحدث البنى في مجالات النص والرؤية والصوت والمتعددة الوسائط.
تم تصميم إطار عمل Transformers لتزويد المستخدمين بكل ما هو ضروري لكل من الاستدلال والتدريب باستخدام النماذج المدربة مسبقًا المتقدمة. تشمل الميزات الرئيسية فئة `Pipeline`، التي توفر واجهة استدلال بسيطة ومحسّنة للعديد من مهام التعلم الآلي مثل توليد النص، وتقسيم الصور، والتعرف التلقائي على الكلام، والإجابة على الأسئلة من المستندات. بالنسبة للتدريب، توفر فئة `Trainer` دعمًا شاملاً لميزات مثل الدقة المختلطة (mixed precision) و torch.compile و FlashAttention، مما يسهل التدريب على جهاز واحد والتدريب الموزع لنماذج PyTorch. بالإضافة إلى ذلك، تتيح وظيفة `generate` توليد نص سريع باستخدام نماذج اللغة الكبيرة (LLMs) ونماذج اللغة المرئية (VLMs)، مع دعم البث (streaming) واستراتيجيات فك التشفير المختلفة.
تؤكد مبادئ تصميم Transformers على السرعة وسهولة الاستخدام. يتم تنفيذ كل نموذج باستخدام ثلاث فئات أساسية فقط: التكوين (configuration) والنموذج (model) والمعالج المسبق (preprocessor)، مما يسمح بالنشر السريع في سيناريوهات الاستدلال أو التدريب عبر `Pipeline` أو `Trainer`. يدافع الإطار بقوة عن استخدام النماذج المدربة مسبقًا لتقليل البصمة الكربونية وتكاليف الحوسبة ووقت التطوير. يتم إعادة إنتاج كل نموذج مدرب مسبقًا بدقة لمطابقة النموذج الأصلي قدر الإمكان، مما يوفر أداءً متطورًا. بالنسبة للمبتدئين في Transformers أو الذين يسعون إلى تعميق فهمهم، تقدم Hugging Face دورة LLM تغطي أساسيات النماذج، والتطبيقات العملية، وتنظيم مجموعات البيانات، والضبط الدقيق (fine-tuning)، وقدرات الاستدلال، وتتميز بالمحتوى النظري والتمارين العملية.
الميزات الأساسية لـ Hugging Face Transformers
تعريفات نماذج مركزية للنصوص والرؤية والصوت والفيديو والنماذج متعددة الوسائط
التوافق مع أطر التدريب الرئيسية (Axolotl، Unsloth، DeepSpeed، FSDP، PyTorch-Lightning)
التكامل مع محركات الاستدلال (vLLM، SGLang، TGI)
دعم مكتبات النمذجة المجاورة (llama.cpp، mlx)
أكثر من مليون نقطة فحص لنماذج Transformers متاحة على Hugging Face Hub
فئة Pipeline للاستدلال البسيط والمحسن عبر مهام التعلم الآلي المختلفة
فئة Trainer لميزات التدريب الشاملة بما في ذلك الدقة المختلطة والتدريب الموزع
توليد نص سريع باستخدام LLMs و VLMs، بما في ذلك دعم البث
نماذج منفذة باستخدام فئات التكوين والنموذج والمعالج المسبق لسهولة الاستخدام
التركيز على استخدام النماذج المدربة مسبقًا لتوفير الحوسبة والوقت
الوصول إلى جدول زمني لأحدث بنى النماذج
دورة LLM متاحة لتعلم نماذج وتطبيقات Transformers
البدء مع Hugging Face Transformers
التثبيت: قم بتثبيت مكتبة Transformers باستخدام مدير الحزم المفضل لديك.
التكوين: حدد تكوينات النماذج، بما في ذلك المعلمات وتفاصيل البنية.
تحميل النموذج: قم بتحميل النماذج المدربة مسبقًا أو النماذج المدربة خصيصًا من Hugging Face Hub أو التخزين المحلي.
الاستدلال: استخدم فئة Pipeline للاستدلال المباشر على مهام مختلفة.
التدريب: استخدم فئة Trainer للتدريب الفعال للنماذج والضبط الدقيق.
النشر: قم بدمج النماذج المدربة في التطبيقات للاستخدام الإنتاجي.
التحسين: استفد من ميزات مثل الدقة المختلطة و FlashAttention لتحسين الأداء.
حالات استخدام Hugging Face Transformers
- توليد النص
- تقسيم الصور
- التعرف على الكلام
- الإجابة على الأسئلة من المستندات
- تدريب النماذج
- استدلال النماذج
- التطبيقات متعددة الوسائط
