説明
Databricksは、AIにおける効率性と品質を再定義するために設計された、最先端のオープン大規模言語モデル（LLM）であるDBRXを発表しました。DBRXはオープンLLMの新たなベンチマークを設定し、これまでクローズドモデルAPIのみで提供されていた機能を可能にします。GPT-3.5を凌駕し、Gemini 1.0 Proと競合する性能を持ち、特にコード生成においては、CodeLLaMA-70Bのような専門モデルを上回る強みを示しています。
DBRXはその高度なパフォーマンスを、きめ細やかなMixture-of-Experts（MoE）アーキテクチャを通じて実現しており、LLaMA2-70Bと比較して最大2倍高速な推論を可能にし、Grok-1のようなモデルと比較してアクティブパラメータ数を大幅に削減しています。Databricks Model Servingでホストされた場合、DBRXはユーザーあたり毎秒最大150トークンを達成できます。DBRXのアプローチによるMoEモデルのトレーニングは、同等の品質を達成するための密モデルのトレーニングと比較して、約2倍のFLOP効率を実現しています。
このモデルは、Apache SparkやUnity CatalogなどのDatabricksツールを使用して開発された、慎重にキュレーションされたデータセットを活用し、12兆トークンのテキストおよびコードデータで事前学習されました。DBRXは、ロータリー位置エンコーディング（RoPE）、ゲート付き線形ユニット（GLU）、グループ化クエリアテンション（GQA）を採用しており、最大コンテキスト長は32,000トークンです。ベースモデル（DBRX Base）と指示チューニング済みモデル（DBRX Instruct）の両方が、オープンライセンスの下でHugging Faceで利用可能です。
DBRX Instructは、Hugging Face Open LLM LeaderboardやDatabricks Model Gauntletを含む様々なベンチマークでリードしています。特にプログラミングと数学において優れたパフォーマンスを示し、HumanEvalおよびGSM8kでGrok-1やCodeLLaMA-70Bなどのモデルを上回っています。DBRX Instructは、長文コンテキストタスクやRetrieval Augmented Generation（RAG）でも強力なパフォーマンスを示し、多くのシナリオでGPT-3.5 Turboを上回っています。
Databricksは、Foundation Model APIを通じてDBRXを提供しており、従量課金制の価格設定と、本番アプリケーション向けのプロビジョニングスループットオプションを用意しています。顧客は、Databricks MarketplaceからダウンロードしてModel Servingにデプロイすることで、DBRXをプライベートにホストすることも可能です。このリリースにより、エンタープライズはGenAIのランドスケープにおいて、自社のデータと運命をコントロールし、強力で効率的なLLMツールへのアクセスを得ることができます。
DBRX LLMのハイライト
最先端のオープンLLM
Mixture-of-Experts（MoE）アーキテクチャ
合計132Bパラメータ、アクティブ36Bパラメータ
12Tトークンのテキストとコードでトレーニング済み
32Kトークンのコンテキストウィンドウ
ベンチマークでGPT-3.5を凌駕
Gemini 1.0 Proと競合
プログラミングと数学における強力なパフォーマンス
LLaMA2-70Bより最大2倍高速な推論
Hugging Faceで利用可能
Databricks Foundation Model API経由でアクセス可能
Retrieval Augmented Generation（RAG）をサポート
DBRX LLMをはじめる
モデルへのアクセス：Databricks Foundation Model APIを利用するか、Hugging Faceからダウンロードします。
認証：必要なAPIキーまたはアクセス認証情報を設定します。
環境設定：必要なライブラリで開発環境を構成します。
API経由での統合：アプリケーションでDBRXのAPI呼び出しを実装します。
最適化：モデルパラメータをファインチューニングするか、パフォーマンスのためにDatabricks Model Servingを活用します。
DBRX LLMの使用例
- コード生成
- コンテンツ作成
- データ分析
- 質問応答
- 要約
- チャットボット
- リサーチ支援
