Модель Inkling - Лаборатория Thinking Machines

Описание

Inkling — это многомодальная модель ИИ общего назначения, разработанная компанией Thinking Machines Lab, Inc. Она имеет в общей сложности 975 миллиардов параметров, из которых 41 миллиард активных, и предназначена для приема текстовых, изображенческих и аудиовходов, генерируя текстовые выходы. Модель предназначена для использования на английском и других языках, что делает ее универсальной для различных приложений. Разработчики могут использовать Inkling для создания приложений на базе ИИ, включая агентные и инструментальные системы, помощников по программированию, чат-ботов и системы генерации с дополнением поиска. Ее дизайн поддерживает использование в общем разговорном формате, выполнение инструкций и другие задачи на естественном языке и многомодальные задачи.

Архитектура Inkling основана на трансформере с 66 слоями, работающем только в режиме декодера, с разреженной архитектурой Mixture-of-Experts (MoE) в качестве основы. Каждый токен направляется к шести из 256 экспертов, при этом два общих эксперта активны для каждого токена. Модель изначально многомодальная, кодируя изображения с помощью иерархического кодировщика патчей и аудио через дискретное кодирование токенов. Все модальности проецируются в общее скрытое пространство и обрабатываются совместно декодером. Inkling поддерживает контекстное окно до 1 миллиона токенов, что позволяет обрабатывать обширные входные данные.

Inkling доступен через API-доступ через Tinker, сервис для тонкой настройки, и через сторонних поставщиков вывода. Веса модели можно скачать с Hugging Face. Для оптимальной работы требуются специфические аппаратные конфигурации, включая кластеры GPU с большим объемом VRAM. Модель прошла обширные оценки безопасности для снижения рисков, связанных с многомодальными взаимодействиями, обеспечивая, что она не представляет собой значительного повышения по сравнению с существующими моделями с открытыми весами. Тем не менее, пользователям рекомендуется внедрять дополнительные меры предосторожности и человеческий контроль при развертывании Inkling в контекстах с высокими ставками.

Главное о Модель Inkling

• Тип модели: многомодальный авторегрессионный трансформер

• API доступен: Да

• Лицензия: Apache 2.0

• Параметры: 975B всего, 41B активных

• Поддержка тонкой настройки: Да

• Многомодальный: Да

• Поддержка чисел: BF16, MXFP8, NVFP4

• Контекстное окно: 1M токенов

Начало работы с Модель Inkling

1. 1

   Доступ к модели: Посетите сервис Tinker для доступа к API.

2. 2

   Аутентификация: Настройте свою учетную запись и получите ключи API.

3. 3

   Настройка окружения: Убедитесь, что ваше оборудование соответствует требованиям модели.

4. 4

   Интеграция через API: Используйте предоставленную документацию для интеграции Inkling в ваше приложение.

5. 5

   Оптимизация: Тонко настройте модель по мере необходимости для вашего конкретного случая использования.

Варианты использования Модель Inkling

• Чат-боты
• Помощники по программированию
• Многомодальные приложения
• Следование инструкциям
• Генерация с дополнением поиска

Часто задаваемые вопросы Модель Inkling

• Что такое Inkling?

  Inkling — это многомодальная модель ИИ, которая принимает текстовые, изображенческие и аудиовходы для генерации текстовых выходов.

• Каковы предполагаемые применения Inkling?

  Inkling предназначен для использования в приложениях, таких как чат-боты, помощники по программированию и агентные системы.

• Какова архитектура Inkling?

  Inkling основан на трансформере с 66 слоями, работающем только в режиме декодера, с разреженной архитектурой Mixture-of-Experts.

• Сколько параметров у Inkling?

  У Inkling в общей сложности 975 миллиардов параметров, из которых 41 миллиард активных.

• Доступен ли Inkling для тонкой настройки?

  Да, Inkling поддерживает тонкую настройку и выпущен с открытыми весами.

• Какое оборудование требуется для работы Inkling?

  Inkling требует кластер GPU с как минимум 2 ТБ агрегированной VRAM для контрольной точки BF16.

• Где я могу получить веса Inkling?

  Веса для Inkling можно скачать с Hugging Face.

• Какие меры безопасности предусмотрены для Inkling?

  Inkling прошел оценки безопасности для снижения рисков, связанных с многомодальными взаимодействиями.