Code Llama

Deskripsi

Code Llama adalah keluarga model bahasa besar yang dikembangkan oleh Meta, dibangun di atas Llama 2 dan dikhususkan untuk tugas-tugas terkait kode. Repositori ini menawarkan kode inferensi yang diperlukan untuk menjalankan model-model canggih ini. Model Code Llama memberikan kinerja mutakhir di antara model terbuka, menampilkan kemampuan seperti infilling kode, dukungan untuk konteks input yang diperpanjang hingga 100.000 token, dan instruksi zero-shot untuk pemrograman.

Keluarga ini mencakup model dasar (Code Llama), versi khusus Python (Code Llama - Python), dan model pengikut instruksi (Code Llama - Instruct). Model-model ini tersedia dalam berbagai ukuran parameter: 7B, 13B, 34B, dan 70B. Semua model dilatih pada urutan 16k token dan menunjukkan peningkatan kinerja dengan input hingga 100k token. Varian 7B dan 13B dari Code Llama dan Code Llama - Instruct mampu melakukan infilling kode berdasarkan konten di sekitarnya.

Dikembangkan dengan melakukan fine-tuning Llama 2 dengan sampel kode yang lebih tinggi, Code Llama menggabungkan mitigasi keamanan yang cukup besar. Repositori ini menyediakan bobot model dan kode awal untuk model-model yang telah dilatih sebelumnya dan di-fine-tune ini. Ini berfungsi sebagai contoh minimal untuk memuat model Code Llama dan menjalankan inferensi. Pengguna dapat mengunduh bobot model dan tokenizer dari situs web Meta setelah menerima lisensi, lalu menggunakan skrip `download.sh` yang disediakan.

Penyiapan melibatkan kloning repositori dan menginstal dependensi dalam lingkungan conda dengan PyTorch/CUDA. Inferensi memerlukan penentuan nilai model-parallel (MP), yang bervariasi berdasarkan ukuran model (misalnya, 1 untuk 7B, 8 untuk 70B). Repositori ini menyertakan skrip contoh untuk penyelesaian kode (`example_completion.py`), infilling kode (`example_infilling.py`), dan mengikuti instruksi (`example_instructions.py`), yang mendemonstrasikan cara mem-prompt dan menjalankan berbagai jenis model secara efektif.

Model Code Llama - Instruct secara khusus di-fine-tune untuk mengikuti instruksi, yang memerlukan pemformatan khusus untuk hasil yang optimal. Repositori ini juga menyoroti potensi risiko yang terkait dengan teknologi AI dan mengarahkan pengguna ke Panduan Penggunaan yang Bertanggung Jawab dan makalah penelitian untuk informasi lebih lanjut. Masalah yang berkaitan dengan bug perangkat lunak atau perilaku model dapat dilaporkan melalui tautan GitHub yang disediakan.

Fitur Inti Code Llama

• Kode inferensi untuk model Code Llama

• Mendukung model dasar, khusus Python, dan pengikut instruksi

• Tersedia dalam ukuran parameter 7B, 13B, 34B, dan 70B

• Kinerja mutakhir di antara model kode terbuka

• Kemampuan infilling kode untuk model 7B dan 13B

• Mendukung konteks input besar hingga 100.000 token

• Mengikuti instruksi zero-shot untuk tugas pemrograman

• Dilatih pada urutan 16k token

• Termasuk bobot model dan kode awal

• Menyediakan skrip contoh untuk penyelesaian, infilling, dan mengikuti instruksi

• Menggabungkan mitigasi keamanan

• Berlisensi untuk peneliti dan entitas komersial

Memulai dengan Code Llama

1. 1

   Kloning: Kloning repositori dari GitHub.

2. 2

   Instal: Siapkan lingkungan conda dengan PyTorch/CUDA dan instal dependensi menggunakan `pip install -e .`.

3. 3

   Unduh: Dapatkan bobot model dan tokenizer dari situs web Meta dan gunakan `download.sh`.

4. 4

   Konfigurasi: Tentukan nilai model-parallel (MP) yang sesuai berdasarkan ukuran model.

5. 5

   Eksekusi: Jalankan inferensi menggunakan skrip contoh yang disediakan (misalnya, `example_completion.py`, `example_infilling.py`, `example_instructions.py`).

6. 6

   Optimalkan: Sesuaikan `max_seq_len` dan `max_batch_size` berdasarkan perangkat keras dan kasus penggunaan.

Kasus Penggunaan Code Llama

• Pembuatan Kode
• Penyelesaian Kode
• Infilling Kode
• Mengikuti Instruksi
• Pengembangan Python
• Penelitian
• Tugas Konteks Besar

FAQ dari Code Llama

• Apa itu Code Llama?

  Code Llama adalah keluarga model bahasa besar untuk kode, berdasarkan Llama 2, yang menawarkan kemampuan canggih untuk tugas pemrograman.

• Jenis model Code Llama apa saja yang tersedia?

  Model yang tersedia meliputi model dasar (Code Llama), spesialisasi Python (Code Llama - Python), dan model pengikut instruksi (Code Llama - Instruct).

• Ukuran parameter berapa saja yang dimiliki Code Llama?

  Model Code Llama tersedia dalam ukuran parameter 7B, 13B, 34B, dan 70B.

• Bisakah Code Llama mengisi kode?

  Ya, varian 7B dan 13B dari Code Llama dan Code Llama - Instruct mendukung infilling kode berdasarkan konten di sekitarnya.

• Berapa panjang konteks maksimum untuk model Code Llama?

  Semua model, kecuali versi 70B python dan instruct, mendukung panjang urutan hingga 100.000 token.

• Bagaimana cara mengunduh bobot model Code Llama?

  Anda dapat mengunduh bobot model dan tokenizer dari situs web Meta setelah menerima lisensi, lalu menggunakan skrip `download.sh`.

• Apa saja prasyarat untuk menyiapkan Code Llama?

  Lingkungan conda dengan PyTorch/CUDA, dan alat seperti `wget` dan `md5sum` direkomendasikan untuk penyiapan dan pengunduhan.

• Bagaimana cara menjalankan inferensi dengan Code Llama?

  Inferensi dapat dijalankan menggunakan skrip contoh yang disediakan seperti `example_completion.py`, `example_infilling.py`, dan `example_instructions.py`, setelah menyiapkan lingkungan dan mengunduh model.

• Apakah model Code Llama cocok untuk penggunaan komersial?

  Ya, model dan bobot dilisensikan untuk peneliti dan entitas komersial.

• Di mana saya dapat melaporkan masalah dengan model Code Llama?

  Masalah dengan model dapat dilaporkan di GitHub, dan umpan balik konten berisiko dapat diberikan melalui developers.facebook.com/llama_output_feedback.