BigDL LLM

説明

BigDLプロジェクト、特にそのBigDL-LLMコンポーネント（現在はIPEX-LLMへ移行中）は、CPUやGPUを含む幅広いIntelハードウェア上で大規模言語モデル（LLM）のパフォーマンスを最適化するために設計された強力なライブラリです。INT4、FP4、INT8、FP8などの高度な量子化技術を活用することで、ユーザーは大幅に低減された遅延でLLMを実行できます。この最適化は、多様なハードウェア構成上で複雑なAIモデルを効率的にデプロイするために不可欠です。

llama.cpp、gptq、bitsandbytes、qloraなどのライブラリの基盤の上に構築されたBigDL-LLMは、PyTorchベースのLLMの推論とファインチューニングの両方に対して堅牢なフレームワークを提供します。最近のアップデートでは、ModelScopeからの直接モデルロード、VRAMが限られたGPU上での大規模モデル実行のための初期INT2サポート、グラフィカルユーザーエクスペリエンスのためのText-Generation-WebUIとの統合など、機能拡張が強調されています。このライブラリは、Intel GPUおよびCPU上での推論遅延を実質的に高速化するSelf-Speculative Decodingも導入しています。

モデルカスタマイズに注力する開発者や研究者向けに、BigDL-LLMはIntel GPU上でのLoRA、QLoRA、DPO、QA-LoRA、ReLoRAを含む様々なファインチューニングメソッドに対して包括的なサポートを提供します。これにより、事前学習済みモデルを特定のタスクやデータセットに効率的に適応させることができます。このプロジェクトは、複数のIntel GPU上でLLaMA2-7Bを30分未満でトレーニングするなど、印象的なファインチューニング速度を実証しています。さらに、GGUF、AWQ、GPTQなどの一般的なモデル形式の直接ロードをサポートし、連続バッチ処理のためのvLLMやサービングのためのFastChatと統合されています。

BigDLエコシステムはLLMを超えて拡張され、分散データ分析およびAI（Orca）、TensorFlowおよびPyTorchの透過的アクセラレーション（Nano）、Spark上のディープラーニング（DLlib）、時系列分析（Chronos）、レコメンデーションシステム（Friesian）、セキュアAI（PPML）のためのライブラリを含んでいます。BigDL-LLMは、Intelハードウェア上でLLMのパワーを活用したい人々にとって重要なコンポーネントであり、幅広いAIアプリケーションに対して柔軟で高性能なソリューションを提供します。

BigDL LLMの主要機能

• Intel XPU（CPU、GPU）上での最適化されたLLM推論

• INT4、FP4、INT8、FP8量子化をサポート

• PyTorchモデル向けの低遅延推論

• llama.cpp、gptq、bitsandbytes、qloraを基盤

• GGUF、AWQ、GPTQモデルの直接ロード

• Intel GPU上での包括的なLLMファインチューニング（LoRA、QLoRA、DPO、QA-LoRA、ReLoRA）

• 約30%の高速化を実現するSelf-Speculative Decoding

• vLLMの連続バッチ処理をサポート

• Intel CPUおよびGPU上でのFastChatサービング

• ModelScopeからの直接ロード

• 16GB VRAM GPU上での大規模LLM実行のための初期INT2サポート

• Text-Generation-WebUIとの統合

BigDL LLMをはじめる

1. 1

   pipでBigDL-LLMをインストールします。CPUの場合は`pip install --pre --upgrade bigdl-llm[all]`、GPUの場合は`bigdl-llm[xpu]`を使用します。

2. 2

   `AutoModelForCausalLM.from_pretrained`を使用して、INT4最適化でHugging Face Transformersモデルをロードします。

3. 3

   モデルパスを指定して、Intel CPU上で最適化されたモデルを実行します。

4. 4

   モデルと入力テンソルを'xpu'デバイスに移動して、Intel GPU上で最適化されたモデルを実行します。

5. 5

   LoRA、QLoRA、DPO、QA-LoRA、またはReLoRAのファインチューニングパラメータを設定します。

6. 6

   最適化されたLLMのサービングにFastChatまたはvLLMを利用します。

7. 7

   LLMアプリケーション開発のためにLangChainと統合します。

BigDL LLMの使用例

• 低遅延LLM推論
• LLMファインチューニング
• 効率的なモデルデプロイメント
• AIアプリケーション開発
• 限られたVRAMでの大規模モデルトレーニング
• 高速化されたテキスト生成

BigDL LLMのFAQ

• BigDL-LLMとは何ですか？

  BigDL-LLMは、Intel XPUハードウェア上で大規模言語モデル（LLM）を実行するためのライブラリであり、低遅延で最適化された推論とファインチューニング機能を提供します。

• BigDL-LLMはどのハードウェアをサポートしていますか？

  BigDL-LLMは、ラップトップ、CPU、GPU（Arc、Flex、MAX）を含むIntel XPUハードウェアをサポートしています。

• BigDL-LLMはどの量子化メソッドをサポートしていますか？

  BigDL-LLMは、最適化された推論のためにINT4、FP4、INT8、FP8量子化をサポートしています。

• BigDL-LLMでLLMをファインチューニングできますか？

  はい、BigDL-LLMは、LoRA、QLoRA、DPO、QA-LoRA、ReLoRAを含む、Intel GPU上での包括的なLLMファインチューニングをサポートしています。

• BigDL-LLMのSelf-Speculative Decodingの利点は何ですか？

  Self-Speculative Decodingは、Intel GPUおよびCPU上でのFP16およびBF16推論遅延をそれぞれ約30%高速化できます。

• BigDL-LLMは他の形式のモデルのロードをサポートしていますか？

  はい、BigDL-LLMはGGUF、AWQ、GPTQモデルの直接ロード、およびModelScopeからのモデルのロードをサポートしています。

• BigDL-LLMは他のLLMフレームワークと互換性がありますか？

  はい、BigDL-LLMはLangChainのサポートを追加し、より広範なLLMアプリケーション開発での利用を可能にしました。

• BigDL-LLMのパフォーマンスに関する主張は何ですか？

  BigDL-LLMは非常に低い遅延の推論を目指しており、8つのIntel Max 1550 GPUでLLaMA2-7Bを21分でトレーニングするなど、高速なファインチューニング時間を実証しています。

• BigDL-LLMの最新の開発はどこで見られますか？

  BigDL-LLMの今後の開発は、IPEX-LLMプロジェクトに移行します。

• BigDL-LLMのインストール要件は何ですか？

  BigDL-LLMはPython 3.9、3.10、3.11でテストされています。インストールには、CPUまたはGPU用の特定のエクストラを含むpipコマンドが必要です。