BigDL LLM

الوصف

مشروع BigDL، وتحديداً مكون BigDL-LLM (الذي ينتقل حاليًا إلى IPEX-LLM)، هو مكتبة قوية مصممة لتحسين أداء نماذج اللغة الكبيرة (LLMs) عبر مجموعة من أجهزة Intel، بما في ذلك وحدات المعالجة المركزية ووحدات معالجة الرسومات. تتيح للمستخدمين تشغيل نماذج LLMs بزمن استجابة مخفض بشكل كبير من خلال الاستفادة من تقنيات التكميم المتقدمة مثل INT4 و FP4 و INT8 و FP8. هذا التحسين ضروري لنشر نماذج الذكاء الاصطناعي المعقدة بكفاءة على تكوينات أجهزة متنوعة.

بناءً على العمل الأساسي لمكتبات مثل llama.cpp و gptq و bitsandbytes و qlora، يوفر BigDL-LLM إطار عمل قوي لكل من الاستدلال والضبط الدقيق لنماذج LLMs المستندة إلى PyTorch. تسلط التحديثات الأخيرة الضوء على القدرات الموسعة، بما في ذلك التحميل المباشر للنماذج من ModelScope، ودعم INT2 الأولي لتشغيل النماذج الكبيرة على وحدات معالجة الرسومات ذات ذاكرة VRAM محدودة، والتكامل مع Text-Generation-WebUI لتجربة مستخدم رسومية. تقدم المكتبة أيضًا Self-Speculative Decoding، والذي يوفر تسريعًا عمليًا لزمن استجابة الاستدلال على وحدات معالجة الرسومات ووحدات المعالجة المركزية من Intel.

بالنسبة للمطورين والباحثين الذين يركزون على تخصيص النماذج، يوفر BigDL-LLM دعمًا شاملاً لطرق الضبط الدقيق المختلفة على وحدات معالجة الرسومات من Intel، بما في ذلك LoRA و QLoRA و DPO و QA-LoRA و ReLoRA. هذا يسمح بالتكيف الفعال للنماذج المدربة مسبقًا لمهام ومجموعات بيانات محددة. أظهر المشروع سرعات ضبط دقيق مثيرة للإعجاب، مثل تدريب LLaMA2-7B في أقل من 30 دقيقة على وحدات معالجة رسومات Intel متعددة. علاوة على ذلك، فإنه يدعم التحميل المباشر لتنسيقات النماذج الشائعة مثل GGUF و AWQ و GPTQ، ويتكامل مع vLLM للدفعة المستمرة و FastChat للتقديم.

يمتد نظام BigDL البيئي إلى ما وراء نماذج LLMs، ويشمل مكتبات لتحليلات البيانات الموزعة والذكاء الاصطناعي (Orca)، وتسريع شفاف لـ TensorFlow و PyTorch (Nano)، والتعلم العميق على Spark (DLlib)، وتحليل السلاسل الزمنية (Chronos)، وأنظمة التوصية (Friesian)، والذكاء الاصطناعي الآمن (PPML). يعد BigDL-LLM مكونًا رئيسيًا لأولئك الذين يتطلعون إلى الاستفادة من قوة نماذج LLMs على أجهزة Intel، مما يوفر حلاً مرنًا وعالي الأداء لمجموعة واسعة من تطبيقات الذكاء الاصطناعي.

الميزات الأساسية لـ BigDL LLM

• استدلال LLM محسن على Intel XPU (CPU, GPU)

• يدعم تكميم INT4, FP4, INT8, FP8

• استدلال بزمن استجابة منخفض لنماذج PyTorch

• مبني على llama.cpp, gptq, bitsandbytes, qlora

• تحميل مباشر لنماذج GGUF, AWQ, GPTQ

• ضبط دقيق شامل لـ LLM على Intel GPU (LoRA, QLoRA, DPO, QA-LoRA, ReLoRA)

• Self-Speculative Decoding لتسريع بنسبة ~30%

• يدعم الدفعة المستمرة لـ vLLM

• تقديم FastChat على Intel CPU و GPU

• تحميل مباشر من ModelScope

• دعم INT2 الأولي لنماذج LLMs الكبيرة على وحدات معالجة الرسومات بذاكرة VRAM بسعة 16 جيجابايت

• التكامل مع Text-Generation-WebUI

البدء مع BigDL LLM

1. 1

   تثبيت BigDL-LLM عبر pip: `pip install --pre --upgrade bigdl-llm[all]` لوحدة المعالجة المركزية أو `bigdl-llm[xpu]` لوحدة معالجة الرسومات.

2. 2

   تحميل نماذج Hugging Face Transformers مع تحسينات INT4 باستخدام `AutoModelForCausalLM.from_pretrained`.

3. 3

   تشغيل النماذج المحسنة على Intel CPU عن طريق تحديد مسار النموذج.

4. 4

   تشغيل النماذج المحسنة على Intel GPU عن طريق نقل النموذج وموترات الإدخال إلى جهاز 'xpu'.

5. 5

   تكوين معلمات الضبط الدقيق لـ LoRA أو QLoRA أو DPO أو QA-LoRA أو ReLoRA.

6. 6

   استخدام FastChat أو vLLM لتقديم نماذج LLMs المحسنة.

7. 7

   التكامل مع LangChain لتطوير تطبيقات LLM.

حالات استخدام BigDL LLM

• استدلال LLM بزمن استجابة منخفض
• ضبط دقيق لـ LLM
• نشر نماذج فعال
• تطوير تطبيقات الذكاء الاصطناعي
• تدريب نماذج كبيرة على ذاكرة VRAM محدودة
• توليد نص مسرع

الأسئلة الشائعة من BigDL LLM

• ما هو BigDL-LLM؟

  BigDL-LLM هي مكتبة لتشغيل نماذج اللغة الكبيرة (LLMs) على أجهزة Intel XPU، وتقدم استدلالًا محسنًا وقدرات ضبط دقيق بزمن استجابة منخفض.

• ما هي الأجهزة التي يدعمها BigDL-LLM؟

  يدعم BigDL-LLM أجهزة Intel XPU، بما في ذلك أجهزة الكمبيوتر المحمولة ووحدات المعالجة المركزية ووحدات معالجة الرسومات (Arc, Flex, MAX).

• ما هي طرق التكميم التي يدعمها BigDL-LLM؟

  يدعم BigDL-LLM تكميم INT4 و FP4 و INT8 و FP8 للاستدلال المحسن.

• هل يمكنني ضبط نماذج LLMs باستخدام BigDL-LLM؟

  نعم، يدعم BigDL-LLM الضبط الدقيق الشامل لنماذج LLMs على وحدات معالجة الرسومات من Intel، بما في ذلك LoRA و QLoRA و DPO و QA-LoRA و ReLoRA.

• ما هي فائدة Self-Speculative Decoding في BigDL-LLM؟

  يمكن لـ Self-Speculative Decoding تحقيق تسريع بنسبة 30% تقريبًا لزمن استجابة الاستدلال FP16 و BF16 على وحدات معالجة الرسومات ووحدات المعالجة المركزية من Intel على التوالي.

• هل يدعم BigDL-LLM تحميل النماذج من تنسيقات أخرى؟

  نعم، يدعم BigDL-LLM التحميل المباشر لنماذج GGUF و AWQ و GPTQ، بالإضافة إلى النماذج من ModelScope.

• هل BigDL-LLM متوافق مع أطر عمل LLM الأخرى؟

  نعم، أضاف BigDL-LLM دعمًا لـ LangChain، مما يتيح استخدامه في تطوير تطبيقات LLM أوسع.

• ما هي ادعاءات الأداء لـ BigDL-LLM؟

  يهدف BigDL-LLM إلى زمن استجابة استدلال منخفض جدًا وأظهر أوقات ضبط دقيق سريعة، مثل LLaMA2-7B في 21 دقيقة على 8 وحدات معالجة رسومات Intel Max 1550.

• أين يمكنني العثور على أحدث تطوير لـ BigDL-LLM؟

  سينتقل التطوير المستقبلي لـ BigDL-LLM إلى مشروع IPEX-LLM.

• ما هي متطلبات تثبيت BigDL-LLM؟

  تم اختبار BigDL-LLM على Python 3.9 و 3.10 و 3.11. يتضمن التثبيت أوامر pip مع إضافات محددة لوحدة المعالجة المركزية أو وحدة معالجة الرسومات.