MT3: Многозадачная многодорожечная транскрипция музыки

Описание

MT3, что расшифровывается как Multi-Task Multitrack Music Transcription (Многозадачная многодорожечная транскрипция музыки), представляет собой передовую модель ИИ, разработанную в рамках проекта Magenta. Она использует фреймворк T5X для выполнения автоматической транскрипции музыки для нескольких инструментов и дорожек. Этот проект не является официально поддерживаемым продуктом Google, но предлагает значительные возможности для анализа и генерации музыки.

Основная функция MT3 заключается в транскрипции аудиофайлов, преобразуя их в символическое представление музыки. Пользователи могут использовать предоставленный colab-блокнот для транскрипции собственного аудио. Модель поставляется с предварительно обученными контрольными точками, включая одну, описанную в статье ISMIR 2021 для транскрипции фортепиано, и другую из статьи ICLR 2022 для многоинструментальной транскрипции.

Хотя основное внимание уделяется транскрипции, проект также затрагивает обучение моделей. Несмотря на то, что это не поддерживается для немедленного использования, заинтересованные пользователи могут следовать инструкциям по обучению T5X и обращаться к задачам, определенным в `tasks.py`, чтобы потенциально обучить свои собственные модели MT3. Репозиторий включает необходимые файлы, такие как `README.md`, `LICENSE` и `CONTRIBUTING.md`, предоставляющие руководство и информацию для пользователей и контрибьюторов.

Проект MT3 размещен на GitHub, способствуя созданию среды для совместной разработки и совершенствования. Он написан в основном на Python, со значительной частью также в Jupyter Notebooks, что отражает его исследовательский и разработческий характер. Проект направлен на развитие области автоматической транскрипции музыки, предлагая надежный и универсальный инструмент как для исследователей, так и для музыкантов.

Основные функции MT3: Многозадачная многодорожечная транскрипция музыки

• Модель для автоматической транскрипции музыки с несколькими инструментами

• Построена на базе фреймворка T5X

• Поддерживает многодорожечную транскрипцию музыки

• Использует предварительно обученные контрольные точки

• Включает colab-блокнот для транскрипции аудио

• Предлагает контрольные точки для транскрипции фортепиано (ISMIR 2021)

• Предлагает контрольные точки для многоинструментальной транскрипции (ICLR 2022)

• Предоставляет ресурсы для обучения моделей через инструкции T5X

• Проект с открытым исходным кодом, размещенный на GitHub

Начало работы с MT3: Многозадачная многодорожечная транскрипция музыки

1. 1

   Клонировать: Получите репозиторий MT3 с GitHub.

2. 2

   Установить: Настройте необходимые зависимости для фреймворка T5X.

3. 3

   Настроить: Подготовьте ваши аудиофайлы и выберите предварительно обученную контрольную точку.

4. 4

   Выполнить: Запустите предоставленный colab-блокнот для транскрипции вашего аудио.

5. 5

   Обучить (необязательно): Следуйте инструкциям по обучению T5X и определениям задач для обучения пользовательской модели.

Варианты использования MT3: Многозадачная многодорожечная транскрипция музыки

• Аудио в символическую музыку
• Многоинструментальная транскрипция
• Анализ музыки
• Исследования в области музыкального ИИ
• Обучение пользовательских моделей

Часто задаваемые вопросы MT3: Многозадачная многодорожечная транскрипция музыки

• Что такое MT3: Multi-Task Multitrack Music Transcription?

  MT3 — это модель ИИ для автоматической транскрипции музыки, которая может обрабатывать несколько инструментов и дорожек, построенная с использованием фреймворка T5X.

• Как я могу транскрибировать свое собственное аудио с помощью MT3?

  Вы можете использовать предоставленный colab-блокнот для транскрипции аудиофайлов по вашему выбору с помощью MT3.

• Какие типы предварительно обученных контрольных точек доступны для MT3?

  MT3 предлагает предварительно обученные контрольные точки для транскрипции фортепиано (статья ISMIR 2021) и многоинструментальной транскрипции (статья ICLR 2022).

• Является ли MT3 официально поддерживаемым продуктом Google?

  Нет, MT3 не является официально поддерживаемым продуктом Google, но он разработан проектом Magenta.

• Могу ли я обучить свою собственную модель MT3?

  Хотя это не поддерживается легко, вы можете попытаться обучить модель, следуя инструкциям по обучению T5X и используя задачи, определенные в репозитории.

• На каком языке программирования в основном написан MT3?

  MT3 в основном написан на Python, со значительной частью также в Jupyter Notebooks.

• Где я могу найти информацию о лицензии MT3?

  Информация о лицензии MT3 доступна в файле LICENSE в репозитории GitHub.

• Как я могу внести свой вклад в проект MT3?

  Руководство по внесению вклада предоставляется в файле CONTRIBUTING.md в репозитории GitHub.

• Какой фреймворк использует MT3 для своей разработки?

  MT3 построен на базе фреймворка T5X.

• Какова основная цель проекта MT3?

  Основная цель MT3 — расширить возможности автоматической транскрипции музыки для многоинструментальной и многодорожечной музыки.