MT3: Multi-Task Multitrack Music Transcription

Deskripsi

MT3, singkatan dari Multi-Task Multitrack Music Transcription, adalah model AI canggih yang dikembangkan dalam proyek Magenta. Model ini memanfaatkan kerangka kerja T5X untuk melakukan transkripsi musik otomatis di berbagai instrumen dan trek. Proyek ini bukan produk Google yang didukung secara resmi, tetapi menawarkan kemampuan yang signifikan untuk analisis dan pembuatan musik.

Fungsi utama MT3 adalah mentranskripsi file audio, mengubahnya menjadi representasi musik simbolik. Pengguna dapat memanfaatkan notebook Colab yang disediakan untuk mentranskripsi audio mereka sendiri. Model ini dilengkapi dengan checkpoint yang telah dilatih sebelumnya, termasuk satu yang dijelaskan dalam makalah ISMIR 2021 untuk transkripsi piano dan satu lagi dari makalah ICLR 2022 untuk transkripsi multi-instrumen.

Meskipun fokusnya adalah pada transkripsi, proyek ini juga menyentuh pelatihan model. Meskipun tidak mudah didukung untuk penggunaan langsung, pengguna yang tertarik dapat mengikuti instruksi pelatihan T5X dan merujuk pada tugas-tugas yang ditentukan dalam `tasks.py` untuk berpotensi melatih model MT3 mereka sendiri. Repositori ini mencakup file-file penting seperti `README.md`, `LICENSE`, dan `CONTRIBUTING.md`, yang memberikan panduan dan informasi bagi pengguna dan kontributor.

Proyek MT3 di-host di GitHub, mendorong lingkungan kolaboratif untuk pengembangan dan peningkatan. Proyek ini ditulis terutama dalam Python, dengan sebagian besar juga dalam Jupyter Notebooks, mencerminkan sifat penelitian dan pengembangannya. Proyek ini bertujuan untuk memajukan bidang transkripsi musik otomatis dengan menawarkan alat yang kuat dan serbaguna bagi para peneliti dan musisi.

Fitur Inti MT3: Multi-Task Multitrack Music Transcription

• Model transkripsi musik otomatis multi-instrumen

• Dibangun di atas kerangka kerja T5X

• Mendukung transkripsi musik multi-trek

• Memanfaatkan checkpoint yang telah dilatih sebelumnya

• Termasuk notebook Colab untuk transkripsi audio

• Menawarkan checkpoint untuk transkripsi piano (ISMIR 2021)

• Menawarkan checkpoint untuk transkripsi multi-instrumen (ICLR 2022)

• Menyediakan sumber daya untuk pelatihan model melalui instruksi T5X

• Proyek open-source yang di-host di GitHub

Memulai dengan MT3: Multi-Task Multitrack Music Transcription

1. 1

   Clone: Dapatkan repositori MT3 dari GitHub.

2. 2

   Install: Siapkan dependensi yang diperlukan untuk kerangka kerja T5X.

3. 3

   Configure: Siapkan file audio Anda dan pilih checkpoint yang telah dilatih sebelumnya.

4. 4

   Execute: Jalankan notebook Colab yang disediakan untuk mentranskripsi audio Anda.

5. 5

   Train (Opsional): Ikuti instruksi pelatihan T5X dan definisi tugas untuk pelatihan model kustom.

Kasus Penggunaan MT3: Multi-Task Multitrack Music Transcription

• Audio ke Musik Simbolik
• Transkripsi Multi-Instrumen
• Analisis Musik
• Penelitian AI Musik
• Pelatihan Model Kustom

FAQ dari MT3: Multi-Task Multitrack Music Transcription

• Apa itu MT3: Multi-Task Multitrack Music Transcription?

  MT3 adalah model AI untuk transkripsi musik otomatis yang dapat menangani berbagai instrumen dan trek, dibangun menggunakan kerangka kerja T5X.

• Bagaimana cara mentranskripsi audio saya sendiri dengan MT3?

  Anda dapat menggunakan notebook Colab yang disediakan untuk mentranskripsi file audio pilihan Anda dengan MT3.

• Jenis checkpoint pra-pelatihan apa saja yang tersedia untuk MT3?

  MT3 menawarkan checkpoint pra-pelatihan untuk transkripsi piano (makalah ISMIR 2021) dan transkripsi multi-instrumen (makalah ICLR 2022).

• Apakah MT3 produk Google yang didukung secara resmi?

  Tidak, MT3 bukan produk Google yang didukung secara resmi, tetapi dikembangkan oleh proyek Magenta.

• Bisakah saya melatih model MT3 saya sendiri?

  Meskipun tidak mudah didukung, Anda dapat mencoba melatih model dengan mengikuti instruksi pelatihan T5X dan menggunakan tugas-tugas yang ditentukan dalam repositori.

• Bahasa pemrograman apa yang terutama digunakan MT3?

  MT3 terutama ditulis dalam Python, dengan sebagian besar juga dalam Jupyter Notebooks.

• Di mana saya dapat menemukan informasi lisensi untuk MT3?

  Informasi lisensi untuk MT3 tersedia di file LICENSE di dalam repositori GitHub.

• Bagaimana cara berkontribusi pada proyek MT3?

  Panduan kontribusi disediakan dalam file CONTRIBUTING.md di repositori GitHub.

• Kerangka kerja apa yang digunakan MT3 untuk pengembangannya?

  MT3 dibangun di atas kerangka kerja T5X.

• Apa tujuan utama proyek MT3?

  Tujuan utama MT3 adalah untuk memajukan kemampuan transkripsi musik otomatis untuk musik multi-instrumen dan multi-trek.