描述
由 Stability AI 在 GitHub 上托管的 StableLM 项目，代表了在开源大型语言模型（LLM）开发方面的一项重要努力。该仓库是 StableLM 系列持续研究和开发的核心枢纽，不断更新新的模型检查点和进展。
其核心在于，StableLM 旨在为 AI 社区提供强大且易于访问的语言模型。该项目已发布了几个值得注意的模型，包括 StableLM-3B-4E1T，这是一个拥有 30 亿参数的模型，在多轮训练机制下进行了预训练，以研究重复 token 对性能的影响。该模型在 4 个 epoch 中训练了 1 万亿个 token，其灵感来源于对数据受限语言模型进行扩展的研究。其架构是一个类似 LLaMA 的仅解码器 Transformer，并进行了 Rotary Position Embeddings 和 LayerNorm 等特定修改。
后续迭代包括 StableLM-Alpha v2 模型，有 3B 和 7B 参数大小可供选择。这些模型采用了 SwiGLU 等架构改进，并使用了更高质量的数据源，显著提升了下游性能。这些模型的训练数据包括经过筛选的开源数据集混合，如 Falcon RefinedWeb、RedPajama-Data、The Pile 和 StarCoder，并高度侧重于网络文本。这些模型的上下文长度为 4096 个 token。
Stability AI 还开发了 StableVicuna，这是 Vicuna-13B 的一个 RLHF 微调版本，旨在创建一个开源的 RLHF LLM 聊天机器人。由于 LLaMA 的非商业许可证，StableVicuna 的权重以原始模型增量的形式发布。
该仓库为开发人员提供了入门资源，包括使用 Hugging Face 上的 StableLM-Tuned-Alpha-7B 等模型进行推理的快速入门指南和示例代码片段。该项目鼓励社区参与，寻求为 llama.cpp 的移植以及与 Open Assistant 的集成以收集反馈数据做出贡献。建议用户注意，与任何预训练的 LLM 一样，响应的质量可能会有所不同，并可能包含冒犯性内容，预计随着进一步的开发和社区反馈会有所改善。
StableLM 语言模型的核心功能
开源语言模型开发仓库
托管 StableLM 系列语言模型
不断更新新的检查点
包括 StableLM-3B-4E1T 等模型
包含 StableLM-Alpha v2 模型（3B 和 7B）
提供 StableVicuna，一个 RLHF 微调模型
提供技术报告和模型概述
包含推理示例代码
鼓励社区贡献和反馈
模型根据 CC BY-SA-4.0 和 CC BY-NC-SA-4.0 许可证提供
代码根据 Apache License 2.0 许可
StableLM 语言模型入门
克隆：将仓库克隆到本地机器。
安装依赖项：安装必要的库和框架。
下载模型：从 Hugging Face 获取所需的 StableLM 模型检查点。
配置：设置环境和参数以进行推理或微调。
执行：运行提供的脚本进行推理或自定义模型使用。
集成：将模型集成到您的应用程序或研究项目中。
StableLM 语言模型的使用案例
- 语言模型研究
- AI 聊天机器人开发
- 文本生成
- 自然语言理解
- 针对特定任务的微调
- 开源 AI 开发
