Descrição
O projeto StableLM, hospedado no GitHub pela Stability AI, representa um esforço significativo no desenvolvimento de modelos de linguagem grandes (LLMs) de código aberto. Este repositório serve como um hub central para a pesquisa e desenvolvimento contínuos da série StableLM, atualizado continuamente com novos checkpoints de modelos e avanços.
Em sua essência, o StableLM visa fornecer modelos de linguagem poderosos e acessíveis para a comunidade de IA. O projeto lançou vários modelos notáveis, incluindo o StableLM-3B-4E1T, um modelo de 3 bilhões de parâmetros pré-treinado sob um regime de múltiplos epochs para investigar o impacto de tokens repetidos no desempenho. Este modelo foi treinado em 1 trilhão de tokens por 4 epochs, inspirando-se em pesquisas sobre o dimensionamento de modelos de linguagem com dados limitados. Sua arquitetura é um transformer apenas decodificador, semelhante ao LLaMA, com modificações específicas como Rotary Position Embeddings e LayerNorm.
Iterações adicionais incluem os modelos StableLM-Alpha v2, disponíveis em tamanhos de 3B e 7B parâmetros. Esses modelos incorporam melhorias arquitetônicas como SwiGLU e utilizam fontes de dados de maior qualidade, melhorando significativamente o desempenho downstream. Os dados de treinamento para esses modelos incluem uma mistura filtrada de conjuntos de dados de código aberto como Falcon RefinedWeb, RedPajama-Data, The Pile e StarCoder, com forte ênfase em texto da web. O comprimento do contexto para esses modelos é de 4096 tokens.
A Stability AI também desenvolveu o StableVicuna, um fine-tuning RLHF do Vicuna-13B, com o objetivo de criar um Chatbot LLM RLHF de código aberto. Devido à licença não comercial do LLaMA, os pesos do StableVicuna são lançados como deltas sobre o modelo original.
O repositório fornece recursos para desenvolvedores começarem, incluindo guias de início rápido e exemplos de código para executar inferência com modelos como StableLM-Tuned-Alpha-7B no Hugging Face. O projeto incentiva o envolvimento da comunidade, buscando contribuições para portar llama.cpp e integrar com Open Assistant para coleta de dados de feedback. Os usuários são avisados que, como com qualquer LLM pré-treinado, as respostas podem variar em qualidade e potencialmente incluir conteúdo ofensivo, o que se espera que melhore com o desenvolvimento contínuo e o feedback da comunidade.
Recursos principais de Modelos de Linguagem StableLM
Repositório de desenvolvimento de modelos de linguagem de código aberto
Hospeda a série StableLM de modelos de linguagem
Atualizado continuamente com novos checkpoints
Inclui modelos como StableLM-3B-4E1T
Apresenta modelos StableLM-Alpha v2 (3B e 7B)
Fornece StableVicuna, um fine-tune RLHF
Oferece relatórios técnicos e visões gerais de modelos
Inclui código de exemplo para inferência
Incentiva contribuições e feedback da comunidade
Modelos disponíveis sob licenças CC BY-SA-4.0 e CC BY-NC-SA-4.0
Código licenciado sob a Licença Apache 2.0
Primeiros passos com Modelos de Linguagem StableLM
Clonar: Clone o repositório para sua máquina local.
Instalar dependências: Instale bibliotecas e frameworks necessários.
Baixar modelo: Obtenha os checkpoints de modelo StableLM desejados do Hugging Face.
Configurar: Configure o ambiente e os parâmetros para inferência ou fine-tuning.
Executar: Execute os scripts fornecidos para inferência ou uso de modelo personalizado.
Integrar: Incorpore modelos em suas aplicações ou projetos de pesquisa.
Casos de uso de Modelos de Linguagem StableLM
- Pesquisa em Modelos de Linguagem
- Desenvolvimento de Chatbots de IA
- Geração de Texto
- Compreensão de Linguagem Natural
- Fine-tuning para Tarefas Específicas
- Desenvolvimento de IA de Código Aberto
