Code Llama

Beschreibung

Code Llama ist eine Familie von großen Sprachmodellen, die von Meta entwickelt wurden und auf Llama 2 basieren und für codebezogene Aufgaben spezialisiert sind. Dieses Repository bietet den notwendigen Inferenzcode, um diese leistungsstarken Modelle auszuführen. Code Llama-Modelle liefern branchenführende Leistung unter den Open-Source-Modellen und bieten Funktionen wie Code-Infilling, Unterstützung für erweiterte Eingabekontexte von bis zu 100.000 Tokens und Zero-Shot-Instruktionsbefolgung für die Programmierung.

Die Familie umfasst Basismodelle (Code Llama), Python-spezifische Versionen (Code Llama - Python) und Modelle zur Instruktionsbefolgung (Code Llama - Instruct). Diese sind in verschiedenen Parametergrößen erhältlich: 7B, 13B, 34B und 70B. Alle Modelle werden auf Sequenzen von 16k Tokens trainiert und zeigen eine verbesserte Leistung mit Eingaben von bis zu 100k Tokens. Die 7B- und 13B-Varianten von Code Llama und Code Llama - Instruct sind in der Lage, Code basierend auf dem umgebenden Inhalt zu infillen.

Code Llama wurde durch Fine-Tuning von Llama 2 mit einer höheren Stichprobe von Code entwickelt und beinhaltet erhebliche Sicherheitsvorkehrungen. Das Repository stellt Modellgewichte und Startcode für diese vortrainierten und feinabgestimmten Modelle bereit. Es dient als minimales Beispiel zum Laden von Code Llama-Modellen und zur Ausführung von Inferenz. Benutzer können Modellgewichte und Tokenizer von der Meta-Website herunterladen, nachdem sie die Lizenz akzeptiert haben, und dann das bereitgestellte `download.sh`-Skript verwenden.

Die Einrichtung umfasst das Klonen des Repositories und die Installation von Abhängigkeiten innerhalb einer Conda-Umgebung mit PyTorch/CUDA. Die Inferenz erfordert die Angabe von Modell-Parallelitätswerten (MP), die je nach Modellgröße variieren (z. B. 1 für 7B, 8 für 70B). Das Repository enthält Beispielskripte für Code-Vervollständigung (`example_completion.py`), Code-Infilling (`example_infilling.py`) und Instruktionsbefolgung (`example_instructions.py`), die zeigen, wie die verschiedenen Modelltypen effektiv angesprochen und ausgeführt werden.

Code Llama - Instruct-Modelle sind speziell für die Befolgung von Anweisungen feinabgestimmt und erfordern eine bestimmte Formatierung für optimale Ergebnisse. Das Repository hebt auch die potenziellen Risiken im Zusammenhang mit KI-Technologien hervor und verweist Benutzer auf einen Leitfaden für verantwortungsvolle Nutzung und Forschungsarbeiten für weitere Informationen. Probleme im Zusammenhang mit Softwarefehlern oder dem Modellverhalten können über die bereitgestellten GitHub-Links gemeldet werden.

Code Llama's Kernfunktionen

• Inferenzcode für Code Llama-Modelle

• Unterstützt Basis-, Python-spezialisierte und Instruktionsbefolgungsmodelle

• Verfügbar in den Parametergrößen 7B, 13B, 34B und 70B

• Branchenführende Leistung unter den Open-Source-Code-Modellen

• Code-Infilling-Fähigkeiten für 7B- und 13B-Modelle

• Unterstützt große Eingabekontexte von bis zu 100.000 Tokens

• Zero-Shot-Instruktionsbefolgung für Programmieraufgaben

• Trainiert auf Sequenzen von 16k Tokens

• Enthält Modellgewichte und Startcode

• Bietet Beispielskripte für Vervollständigung, Infilling und Instruktionsbefolgung

• Enthält Sicherheitsvorkehrungen

• Lizenz für Forscher und kommerzielle Unternehmen

Erste Schritte mit Code Llama

1. 1

   Klonen: Klonen Sie das Repository von GitHub.

2. 2

   Installieren: Richten Sie eine Conda-Umgebung mit PyTorch/CUDA ein und installieren Sie Abhängigkeiten mit `pip install -e .`.

3. 3

   Herunterladen: Besorgen Sie sich Modellgewichte und Tokenizer von der Meta-Website und verwenden Sie `download.sh`.

4. 4

   Konfigurieren: Ermitteln Sie den geeigneten Modell-Parallelitätswert (MP) basierend auf der Modellgröße.

5. 5

   Ausführen: Führen Sie die Inferenz mit den bereitgestellten Beispielskripten aus (z. B. `example_completion.py`, `example_infilling.py`, `example_instructions.py`).

6. 6

   Optimieren: Passen Sie `max_seq_len` und `max_batch_size` basierend auf Hardware und Anwendungsfall an.

Code Llama's Anwendungsfälle

• Code-Generierung
• Code-Vervollständigung
• Code-Infilling
• Instruktionsbefolgung
• Python-Entwicklung
• Forschung
• Aufgaben mit großem Kontext

FAQ von Code Llama

• Was ist Code Llama?

  Code Llama ist eine Familie von großen Sprachmodellen für Code, basierend auf Llama 2, die erweiterte Fähigkeiten für Programmieraufgaben bieten.

• Welche Arten von Code Llama-Modellen sind verfügbar?

  Die verfügbaren Modelle umfassen Basismodelle (Code Llama), Python-Spezialisierungen (Code Llama - Python) und Modelle zur Instruktionsbefolgung (Code Llama - Instruct).

• In welchen Parametergrößen ist Code Llama erhältlich?

  Code Llama-Modelle sind in den Größen 7B, 13B, 34B und 70B erhältlich.

• Kann Code Llama Code infillen?

  Ja, die 7B- und 13B-Varianten von Code Llama und Code Llama - Instruct unterstützen Code-Infilling basierend auf dem umgebenden Inhalt.

• Was ist die maximale Kontextlänge für Code Llama-Modelle?

  Alle Modelle, mit Ausnahme der 70B Python- und Instruct-Versionen, unterstützen Sequenzlängen von bis zu 100.000 Tokens.

• Wie lade ich die Code Llama-Modellgewichte herunter?

  Sie können Modellgewichte und Tokenizer von der Meta-Website herunterladen, nachdem Sie die Lizenz akzeptiert haben, und dann das Skript `download.sh` verwenden.

• Was sind die Voraussetzungen für die Einrichtung von Code Llama?

  Eine Conda-Umgebung mit PyTorch/CUDA sowie Tools wie `wget` und `md5sum` werden für die Einrichtung und den Download empfohlen.

• Wie führe ich die Inferenz mit Code Llama aus?

  Die Inferenz kann mit den bereitgestellten Beispielskripten wie `example_completion.py`, `example_infilling.py` und `example_instructions.py` ausgeführt werden, nachdem die Umgebung eingerichtet und die Modelle heruntergeladen wurden.

• Sind Code Llama-Modelle für die kommerzielle Nutzung geeignet?

  Ja, das Modell und die Gewichte sind sowohl für Forscher als auch für kommerzielle Unternehmen lizenziert.

• Wo kann ich Probleme mit den Code Llama-Modellen melden?

  Probleme mit dem Modell können auf GitHub gemeldet werden, und Feedback zu riskanten Inhalten kann über developers.facebook.com/llama_output_feedback gegeben werden.