Model Bahasa StableLM

Deskripsi

Proyek StableLM, yang di-host di GitHub oleh Stability AI, mewakili upaya signifikan dalam pengembangan model bahasa besar (LLM) sumber terbuka. Repositori ini berfungsi sebagai pusat utama untuk penelitian dan pengembangan berkelanjutan dari seri StableLM, yang terus diperbarui dengan checkpoint model dan kemajuan baru.

Pada intinya, StableLM bertujuan untuk menyediakan model bahasa yang kuat dan dapat diakses untuk komunitas AI. Proyek ini telah merilis beberapa model terkemuka, termasuk StableLM-3B-4E1T, model 3 miliar parameter yang dilatih sebelumnya di bawah rezim multi-epoch untuk menyelidiki dampak token berulang pada kinerja. Model ini dilatih pada 1 triliun token selama 4 epoch, mengambil inspirasi dari penelitian tentang penskalaan model bahasa yang dibatasi data. Arsitekturnya adalah transformer hanya dekoder, mirip dengan LLaMA, dengan modifikasi spesifik seperti Rotary Position Embeddings dan LayerNorm.

Iterasi lebih lanjut mencakup model StableLM-Alpha v2, yang tersedia dalam ukuran parameter 3B dan 7B. Model-model ini menggabungkan peningkatan arsitektur seperti SwiGLU dan memanfaatkan sumber data berkualitas lebih tinggi, secara signifikan meningkatkan kinerja hilir. Data pelatihan untuk model-model ini mencakup campuran terfilter dari dataset sumber terbuka seperti Falcon RefinedWeb, RedPajama-Data, The Pile, dan StarCoder, dengan penekanan kuat pada teks web. Panjang konteks untuk model-model ini adalah 4096 token.

Stability AI juga telah mengembangkan StableVicuna, fine-tune RLHF dari Vicuna-13B, yang bertujuan untuk menciptakan Chatbot LLM RLHF sumber terbuka. Karena lisensi non-komersial LLaMA, bobot StableVicuna dirilis sebagai delta di atas model asli.

Repositori menyediakan sumber daya bagi pengembang untuk memulai, termasuk panduan memulai cepat dan contoh cuplikan kode untuk menjalankan inferensi dengan model seperti StableLM-Tuned-Alpha-7B di Hugging Face. Proyek ini mendorong keterlibatan komunitas, mencari kontribusi untuk mem-porting llama.cpp dan berintegrasi dengan Open Assistant untuk pengumpulan data umpan balik. Pengguna disarankan bahwa, seperti halnya LLM yang telah dilatih sebelumnya, respons dapat bervariasi dalam kualitas dan berpotensi menyertakan konten yang menyinggung, yang diharapkan akan meningkat dengan pengembangan lebih lanjut dan umpan balik komunitas.

Fitur Inti Model Bahasa StableLM

• Repositori pengembangan model bahasa sumber terbuka

• Menampung seri model bahasa StableLM

• Terus diperbarui dengan checkpoint baru

• Termasuk model seperti StableLM-3B-4E1T

• Menampilkan model StableLM-Alpha v2 (3B dan 7B)

• Menyediakan StableVicuna, fine-tune RLHF

• Menawarkan laporan teknis dan gambaran umum model

• Termasuk contoh kode untuk inferensi

• Mendorong kontribusi dan umpan balik komunitas

• Model tersedia di bawah lisensi CC BY-SA-4.0 dan CC BY-NC-SA-4.0

• Kode dilisensikan di bawah Apache License 2.0

Memulai dengan Model Bahasa StableLM

1. 1

   Kloning: Kloning repositori ke mesin lokal Anda.

2. 2

   Instal dependensi: Instal pustaka dan kerangka kerja yang diperlukan.

3. 3

   Unduh model: Dapatkan checkpoint model StableLM yang diinginkan dari Hugging Face.

4. 4

   Konfigurasi: Siapkan lingkungan dan parameter untuk inferensi atau fine-tuning.

5. 5

   Eksekusi: Jalankan skrip yang disediakan untuk inferensi atau penggunaan model kustom.

6. 6

   Integrasi: Gabungkan model ke dalam aplikasi atau proyek penelitian Anda.

Kasus Penggunaan Model Bahasa StableLM

• Penelitian Model Bahasa
• Pengembangan Chatbot AI
• Generasi Teks
• Pemahaman Bahasa Alami
• Fine-tuning untuk Tugas Spesifik
• Pengembangan AI Sumber Terbuka

FAQ dari Model Bahasa StableLM

• Apa itu StableLM?

  StableLM adalah seri model bahasa sumber terbuka yang dikembangkan oleh Stability AI, berfokus pada kemajuan kemampuan bahasa AI.

• Di mana saya dapat menemukan model StableLM?

  Semua model StableLM di-host di hub Hugging Face, dengan tautan yang disediakan di repositori.

• Apa saja ketentuan lisensi untuk model StableLM?

  Checkpoint model dasar dilisensikan di bawah CC BY-SA-4.0, sementara checkpoint yang di-fine-tune berada di bawah CC BY-NC-SA-4.0.

• Jenis model apa yang tersedia dalam seri StableLM?

  Seri ini mencakup model seperti StableLM-3B-4E1T, StableLM-Alpha v2 (3B dan 7B), dan StableVicuna (fine-tune RLHF).

• Berapa panjang konteks untuk model StableLM-Alpha v2?

  Panjang konteks untuk model StableLM-Alpha v2 adalah 4096 token.

• Bagaimana saya bisa berkontribusi pada proyek StableLM?

  Anda dapat berkontribusi dengan mem-porting llama.cpp agar berfungsi dengan StableLM atau dengan menyediakan data umpan balik berkualitas tinggi yang dihasilkan manusia untuk Open Assistant.

• Apa saja potensi masalah dengan model StableLM?

  Seperti halnya LLM yang telah dilatih sebelumnya, respons dapat bervariasi dalam kualitas dan berpotensi menyertakan bahasa atau pandangan yang menyinggung.

• Apa arsitektur StableLM-3B-4E1T?

  Ini adalah transformer hanya dekoder yang mirip dengan arsitektur LLaMA dengan modifikasi seperti Rotary Position Embeddings dan LayerNorm.

• Dataset apa yang digunakan untuk melatih StableLM-Alpha v2?

  Data pelatihan mencakup Falcon RefinedWeb, RedPajama-Data, The Pile, dan StarCoder, dengan tingkat pengambilan sampel teks web yang tinggi.

• Bisakah saya menggunakan model StableLM untuk tujuan komersial?

  Model dasar berada di bawah CC BY-SA-4.0, tetapi model yang di-fine-tune seperti StableLM-Tuned-Alpha berada di bawah CC BY-NC-SA-4.0, membatasi penggunaan komersial.