BigDL LLM

Deskripsi

Proyek BigDL, khususnya komponen BigDL-LLM (yang kini bertransisi ke IPEX-LLM), adalah pustaka canggih yang dirancang untuk mengoptimalkan kinerja model bahasa besar (LLM) di berbagai perangkat keras Intel, termasuk CPU dan GPU. Pustaka ini memungkinkan pengguna untuk menjalankan LLM dengan latensi yang jauh lebih rendah dengan memanfaatkan teknik kuantisasi canggih seperti INT4, FP4, INT8, dan FP8. Optimalisasi ini sangat penting untuk penerapan model AI yang kompleks secara efisien pada konfigurasi perangkat keras yang beragam.

Dibangun di atas fondasi pustaka seperti llama.cpp, gptq, bitsandbytes, dan qlora, BigDL-LLM menyediakan kerangka kerja yang kuat untuk inferensi dan fine-tuning LLM berbasis PyTorch. Pembaruan terbaru menyoroti kemampuan yang diperluas, termasuk pemuatan model langsung dari ModelScope, dukungan INT2 awal untuk menjalankan model besar pada GPU dengan VRAM terbatas, dan integrasi dengan Text-Generation-WebUI untuk pengalaman pengguna grafis. Pustaka ini juga memperkenalkan Self-Speculative Decoding, yang menawarkan percepatan praktis untuk latensi inferensi pada GPU dan CPU Intel.

Bagi pengembang dan peneliti yang berfokus pada kustomisasi model, BigDL-LLM menawarkan dukungan komprehensif untuk berbagai metode fine-tuning pada GPU Intel, termasuk LoRA, QLoRA, DPO, QA-LoRA, dan ReLoRA. Hal ini memungkinkan adaptasi model yang telah dilatih sebelumnya secara efisien untuk tugas dan kumpulan data tertentu. Proyek ini telah menunjukkan kecepatan fine-tuning yang mengesankan, seperti melatih LLaMA2-7B dalam waktu kurang dari 30 menit pada beberapa GPU Intel. Selain itu, pustaka ini mendukung pemuatan langsung format model populer seperti GGUF, AWQ, dan GPTQ, serta terintegrasi dengan vLLM untuk batching berkelanjutan dan FastChat untuk penyajian.

Ekosistem BigDL melampaui LLM, mencakup pustaka untuk analitik data terdistribusi dan AI (Orca), percepatan transparan TensorFlow dan PyTorch (Nano), deep learning pada Spark (DLlib), analisis deret waktu (Chronos), sistem rekomendasi (Friesian), dan AI yang aman (PPML). BigDL-LLM adalah komponen kunci bagi mereka yang ingin memanfaatkan kekuatan LLM pada perangkat keras Intel, menawarkan solusi yang fleksibel dan berkinerja tinggi untuk berbagai aplikasi AI.

Fitur Inti BigDL LLM

• Inferensi LLM yang dioptimalkan pada Intel XPU (CPU, GPU)

• Mendukung kuantisasi INT4, FP4, INT8, FP8

• Inferensi latensi rendah untuk model PyTorch

• Dibangun di atas llama.cpp, gptq, bitsandbytes, qlora

• Pemuatan langsung model GGUF, AWQ, GPTQ

• Fine-tuning LLM komprehensif pada GPU Intel (LoRA, QLoRA, DPO, QA-LoRA, ReLoRA)

• Self-Speculative Decoding untuk ~30% percepatan

• Mendukung batching berkelanjutan vLLM

• Penyajian FastChat pada CPU dan GPU Intel

• Pemuatan langsung dari ModelScope

• Dukungan INT2 awal untuk LLM besar pada GPU VRAM 16GB

• Integrasi dengan Text-Generation-WebUI

Memulai dengan BigDL LLM

1. 1

   Instal BigDL-LLM melalui pip: `pip install --pre --upgrade bigdl-llm[all]` untuk CPU atau `bigdl-llm[xpu]` untuk GPU.

2. 2

   Muat model Hugging Face Transformers dengan optimasi INT4 menggunakan `AutoModelForCausalLM.from_pretrained`.

3. 3

   Jalankan model yang dioptimalkan pada CPU Intel dengan menentukan jalur model.

4. 4

   Jalankan model yang dioptimalkan pada GPU Intel dengan memindahkan model dan tensor input ke perangkat 'xpu'.

5. 5

   Konfigurasi parameter fine-tuning untuk LoRA, QLoRA, DPO, QA-LoRA, atau ReLoRA.

6. 6

   Gunakan FastChat atau vLLM untuk menyajikan LLM yang dioptimalkan.

7. 7

   Integrasikan dengan LangChain untuk pengembangan aplikasi LLM.

Kasus Penggunaan BigDL LLM

• Inferensi LLM Latensi Rendah
• Fine-tuning LLM
• Penerapan Model yang Efisien
• Pengembangan Aplikasi AI
• Pelatihan Model Besar pada VRAM Terbatas
• Generasi Teks yang Dipercepat

FAQ dari BigDL LLM

• Apa itu BigDL-LLM?

  BigDL-LLM adalah pustaka untuk menjalankan model bahasa besar (LLM) pada perangkat keras Intel XPU, menawarkan kemampuan inferensi dan fine-tuning yang dioptimalkan dengan latensi rendah.

• Perangkat keras apa yang didukung BigDL-LLM?

  BigDL-LLM mendukung perangkat keras Intel XPU, termasuk laptop, CPU, dan GPU (Arc, Flex, MAX).

• Metode kuantisasi apa yang didukung BigDL-LLM?

  BigDL-LLM mendukung kuantisasi INT4, FP4, INT8, dan FP8 untuk inferensi yang dioptimalkan.

• Bisakah saya melakukan fine-tuning LLM dengan BigDL-LLM?

  Ya, BigDL-LLM mendukung fine-tuning LLM komprehensif pada GPU Intel, termasuk LoRA, QLoRA, DPO, QA-LoRA, dan ReLoRA.

• Apa manfaat Self-Speculative Decoding di BigDL-LLM?

  Self-Speculative Decoding dapat memberikan percepatan sekitar 30% untuk latensi inferensi FP16 dan BF16 pada GPU dan CPU Intel.

• Apakah BigDL-LLM mendukung pemuatan model dari format lain?

  Ya, BigDL-LLM mendukung pemuatan langsung model GGUF, AWQ, dan GPTQ, serta model dari ModelScope.

• Apakah BigDL-LLM kompatibel dengan kerangka kerja LLM lainnya?

  Ya, BigDL-LLM telah menambahkan dukungan untuk LangChain, memungkinkannya digunakan dalam pengembangan aplikasi LLM yang lebih luas.

• Apa klaim kinerja untuk BigDL-LLM?

  BigDL-LLM bertujuan untuk inferensi latensi sangat rendah dan telah menunjukkan waktu fine-tuning yang cepat, seperti LLaMA2-7B dalam 21 menit pada 8 GPU Intel Max 1550.

• Di mana saya dapat menemukan pengembangan terbaru untuk BigDL-LLM?

  Pengembangan di masa mendatang untuk BigDL-LLM akan dipindahkan ke proyek IPEX-LLM.

• Apa persyaratan instalasi untuk BigDL-LLM?

  BigDL-LLM telah diuji pada Python 3.9, 3.10, dan 3.11. Instalasi melibatkan perintah pip dengan tambahan spesifik untuk CPU atau GPU.