説明
Stability AI によって GitHub でホストされている StableLM プロジェクトは、オープンソースの大規模言語モデル（LLM）の開発における重要な取り組みを表しています。このリポジトリは、StableLM シリーズの継続的な研究開発の中心ハブとして機能し、新しいモデルのチェックポイントと進歩で常に更新されています。
StableLM の中核は、AI コミュニティに強力でアクセスしやすい言語モデルを提供することを目指しています。このプロジェクトは、StableLM-3B-4E1T を含むいくつかの注目すべきモデルをリリースしました。これは、繰り返しトークンがパフォーマンスに与える影響を調査するために、マルチエポック体制で事前学習された 30 億パラメータのモデルです。このモデルは、データ制約のある言語モデルのスケーリングに関する研究から着想を得て、4 エポックで 1 兆トークンでトレーニングされました。そのアーキテクチャは、LLaMA と同様のデコーダーオンリーのトランスフォーマーですが、Rotary Position Embeddings や LayerNorm のような特定の変更が加えられています。
さらに進化したものとして、StableLM-Alpha v2 モデルがあり、3B および 7B パラメータ サイズで利用可能です。これらのモデルは、SwiGLU のようなアーキテクチャの改善を取り入れ、より高品質なデータソースを利用しており、下流のパフォーマンスを大幅に向上させています。これらのモデルのトレーニングデータには、Falcon RefinedWeb、RedPajama-Data、The Pile、StarCoder のようなオープンソースデータセットのフィルタリングされた混合が含まれており、Web テキストに重点が置かれています。これらのモデルのコンテキスト長は 4096 トークンです。
Stability AI は、オープンソースの RLHF LLM チャットボットを作成することを目的とした Vicuna-13B の RLHF ファインチューンである StableVicuna も開発しました。LLaMA の非商用ライセンスのため、StableVicuna の重みは元のモデルに対するデルタとしてリリースされます。
リポジトリは、開発者がすぐに始められるように、クイックスタートガイドや、Hugging Face 上の StableLM-Tuned-Alpha-7B のようなモデルでの推論を実行するためのサンプルコードスニペットなどのリソースを提供しています。このプロジェクトは、llama.cpp のポートや、フィードバックデータ収集のための Open Assistant との統合への貢献を求めて、コミュニティの参加を奨励しています。ユーザーは、他の事前学習済み LLM と同様に、応答の品質は変動する可能性があり、攻撃的なコンテンツが含まれる可能性があることに注意してください。これは、さらなる開発とコミュニティからのフィードバックによって改善されることが期待されます。
StableLM 言語モデルの主要機能
オープンソース言語モデル開発リポジトリ
StableLM シリーズの言語モデルをホスト
新しいチェックポイントで継続的に更新
StableLM-3B-4E1T のようなモデルを含む
StableLM-Alpha v2 モデル（3B および 7B）を特徴とする
StableVicuna、RLHF ファインチューンを提供
技術レポートとモデル概要を提供
推論のためのサンプルコードを含む
コミュニティの貢献とフィードバックを奨励
CC BY-SA-4.0 および CC BY-NC-SA-4.0 ライセンスで利用可能なモデル
Apache License 2.0 でライセンスされたコード
StableLM 言語モデルをはじめる
クローン: リポジトリをローカルマシンにクローンします。
依存関係のインストール: 必要なライブラリとフレームワークをインストールします。
モデルのダウンロード: Hugging Face から目的の StableLM モデルチェックポイントを取得します。
設定: 推論またはファインチューニングのための環境とパラメータを設定します。
実行: 推論またはカスタムモデル使用のために提供されたスクリプトを実行します。
統合: モデルをアプリケーションまたは研究プロジェクトに組み込みます。
StableLM 言語モデルの使用例
- 言語モデル研究
- AI チャットボット開発
- テキスト生成
- 自然言語理解
- 特定タスクのためのファインチューニング
- オープンソース AI 開発
