Modèles de Langage StableLM

Description

Le projet StableLM, hébergé sur GitHub par Stability AI, représente un effort significatif dans le développement de grands modèles de langage (LLM) open-source. Ce dépôt sert de hub central pour la recherche et le développement continus de la série StableLM, constamment mis à jour avec de nouveaux checkpoints de modèles et des avancées.

À la base, StableLM vise à fournir des modèles de langage puissants et accessibles à la communauté de l'IA. Le projet a publié plusieurs modèles notables, dont StableLM-3B-4E1T, un modèle de 3 milliards de paramètres pré-entraîné sous un régime multi-époques pour étudier l'impact des tokens répétés sur les performances. Ce modèle a été entraîné sur 1 trillion de tokens pendant 4 époques, s'inspirant de la recherche sur la mise à l'échelle des modèles de langage contraints par les données. Son architecture est un transformeur uniquement décodeur, similaire à LLaMA, avec des modifications spécifiques comme les Rotary Position Embeddings et LayerNorm.

Les itérations ultérieures incluent les modèles StableLM-Alpha v2, disponibles en tailles de 3B et 7B paramètres. Ces modèles intègrent des améliorations architecturales telles que SwiGLU et utilisent des sources de données de plus haute qualité, améliorant considérablement les performances en aval. Les données d'entraînement pour ces modèles comprennent un mélange filtré de jeux de données open-source tels que Falcon RefinedWeb, RedPajama-Data, The Pile et StarCoder, avec un fort accent sur le texte web. La longueur du contexte pour ces modèles est de 4096 tokens.

Stability AI a également développé StableVicuna, un fine-tuning RLHF de Vicuna-13B, visant à créer un chatbot LLM RLHF open-source. En raison de la licence non commerciale de LLaMA, les poids de StableVicuna sont publiés sous forme de deltas par rapport au modèle original.

Le dépôt fournit des ressources pour les développeurs afin de démarrer, y compris des guides de démarrage rapide et des exemples de code pour exécuter l'inférence avec des modèles comme StableLM-Tuned-Alpha-7B sur Hugging Face. Le projet encourage l'implication de la communauté, recherchant des contributions pour le portage de llama.cpp et l'intégration avec Open Assistant pour la collecte de données de feedback. Il est conseillé aux utilisateurs que, comme pour tout LLM pré-entraîné, les réponses peuvent varier en qualité et pourraient potentiellement inclure du contenu offensant, ce qui devrait s'améliorer avec le développement continu et le feedback de la communauté.

Fonctionnalités principales de Modèles de Langage StableLM

• Dépôt de développement de modèles de langage open-source

• Héberge la série de modèles de langage StableLM

• Mise à jour continue avec de nouveaux checkpoints

• Inclut des modèles comme StableLM-3B-4E1T

• Présente les modèles StableLM-Alpha v2 (3B et 7B)

• Fournit StableVicuna, un fine-tuning RLHF

• Offre des rapports techniques et des aperçus de modèles

• Inclut des exemples de code pour l'inférence

• Encourage les contributions et le feedback de la communauté

• Modèles disponibles sous licences CC BY-SA-4.0 et CC BY-NC-SA-4.0

• Code sous licence Apache License 2.0

Premiers pas avec Modèles de Langage StableLM

1. 1

   Cloner : Clonez le dépôt sur votre machine locale.

2. 2

   Installer les dépendances : Installez les bibliothèques et frameworks nécessaires.

3. 3

   Télécharger le modèle : Obtenez les checkpoints de modèles StableLM souhaités depuis Hugging Face.

4. 4

   Configurer : Configurez l'environnement et les paramètres pour l'inférence ou le fine-tuning.

5. 5

   Exécuter : Lancez les scripts fournis pour l'inférence ou l'utilisation personnalisée du modèle.

6. 6

   Intégrer : Intégrez les modèles dans vos applications ou projets de recherche.

Cas d'utilisation de Modèles de Langage StableLM

• Recherche sur les modèles de langage
• Développement de chatbots IA
• Génération de texte
• Compréhension du langage naturel
• Fine-tuning pour des tâches spécifiques
• Développement d'IA open-source

FAQ de Modèles de Langage StableLM

• Qu'est-ce que StableLM ?

  StableLM est une série de modèles de langage open-source développée par Stability AI, axée sur l'avancement des capacités linguistiques de l'IA.

• Où puis-je trouver les modèles StableLM ?

  Tous les modèles StableLM sont hébergés sur le hub Hugging Face, avec des liens fournis dans le dépôt.

• Quelles sont les conditions de licence pour les modèles StableLM ?

  Les checkpoints de modèles de base sont sous licence CC BY-SA-4.0, tandis que les checkpoints fine-tunés sont sous licence CC BY-NC-SA-4.0.

• Quel type de modèles est disponible dans la série StableLM ?

  La série comprend des modèles comme StableLM-3B-4E1T, StableLM-Alpha v2 (3B et 7B) et StableVicuna (un fine-tuning RLHF).

• Quelle est la longueur du contexte pour les modèles StableLM-Alpha v2 ?

  La longueur du contexte pour les modèles StableLM-Alpha v2 est de 4096 tokens.

• Comment puis-je contribuer au projet StableLM ?

  Vous pouvez contribuer en portant llama.cpp pour qu'il fonctionne avec StableLMs ou en fournissant des données de feedback humaines de haute qualité pour Open Assistant.

• Quels sont les problèmes potentiels avec les modèles StableLM ?

  Comme pour tout LLM pré-entraîné, les réponses peuvent varier en qualité et pourraient potentiellement inclure du langage ou des opinions offensants.

• Quelle est l'architecture de StableLM-3B-4E1T ?

  Il s'agit d'un transformeur uniquement décodeur similaire à l'architecture LLaMA avec des modifications comme les Rotary Position Embeddings et LayerNorm.

• Quels jeux de données ont été utilisés pour entraîner StableLM-Alpha v2 ?

  Les données d'entraînement comprennent Falcon RefinedWeb, RedPajama-Data, The Pile et StarCoder, avec un taux d'échantillonnage élevé de texte web.

• Puis-je utiliser les modèles StableLM à des fins commerciales ?

  Les modèles de base sont sous licence CC BY-SA-4.0, mais les modèles fine-tunés comme StableLM-Tuned-Alpha sont sous licence CC BY-NC-SA-4.0, ce qui restreint l'utilisation commerciale.