V-JEPA

Deskripsi

V-JEPA, atau Video Joint Embedding Predictive Architecture, adalah basis kode PyTorch resmi yang dikembangkan oleh Meta AI Research (FAIR) untuk pembelajaran representasi visual mandiri dari video. Metode ini berfokus pada pembelajaran representasi visual yang kuat dengan mengamati piksel video secara pasif dari dataset seperti VideoMix2M. Berbeda dengan model generatif yang mengandalkan rekonstruksi piksel, V-JEPA menggunakan tujuan prediksi fitur tanpa pengawasan. Ia tidak memerlukan encoder gambar yang telah dilatih sebelumnya, teks, contoh negatif, anotasi manusia, atau rekonstruksi tingkat piksel, menjadikannya pendekatan yang sepenuhnya tanpa pengawasan.

Inti dari metodologi V-JEPA melibatkan prediktor yang beroperasi di ruang laten, bukan dekoder piksel. Prediktor ini membuat prediksi untuk wilayah video yang hilang berdasarkan bagian yang diamati. Untuk memvisualisasikan prediksi ini, model difusi kondisional digunakan untuk mendekode prediksi ruang laten menjadi piksel yang dapat diinterpretasikan. Sangat penting, selama proses dekode ini, jaringan encoder dan prediktor V-JEPA yang telah dilatih sebelumnya tetap beku, memastikan bahwa representasi yang dipelajari dipertahankan.

Basis kode disusun untuk memfasilitasi pra-pelatihan dan evaluasi. File konfigurasi di direktori `configs` menentukan parameter eksperimen, memungkinkan pengguna untuk menyesuaikan jalur untuk log, checkpoint, dan data pelatihan. Direktori `app` berisi loop pelatihan, dengan `main.py` untuk debugging lokal dan `main_distributed.py` untuk meluncurkan pelatihan terdistribusi pada kluster menggunakan alat seperti submitit dan SLURM. Direktori `evals` berisi skrip evaluasi untuk tugas-tugas seperti klasifikasi gambar dan video, yang juga mendukung eksekusi lokal dan terdistribusi.

Persiapan data melibatkan pembuatan file CSV untuk dataset video, di mana setiap baris menentukan jalur absolut ke file video dan label kelas bilangan bulat (yang diabaikan selama pra-pelatihan tanpa pengawasan tetapi digunakan untuk evaluasi yang diawasi). Dataset gambar disiapkan menggunakan kelas PyTorch ImageFolder standar, yang memerlukan struktur direktori tertentu. Proyek ini menyediakan model yang telah dilatih sebelumnya, termasuk varian ViT-L dan ViT-H, bersama dengan probe atensi untuk berbagai tugas hilir seperti K400, SSv2, ImageNet1K, Places205, dan iNat21, yang menunjukkan keserbagunaan representasi yang dipelajari.

Fitur Inti V-JEPA

• Pembelajaran mandiri dari video menggunakan Arsitektur Prediktif Joint-Embedding (JEPA)

• Tujuan prediksi fitur tanpa pengawasan di ruang laten

• Tidak bergantung pada rekonstruksi tingkat piksel atau anotasi manusia

• Representasi visual serbaguna untuk tugas video dan gambar hilir

• Basis kode PyTorch resmi dengan model dan konfigurasi yang disediakan

• Mendukung pelatihan dan evaluasi lokal dan terdistribusi

• Termasuk model yang telah dilatih sebelumnya (ViT-L, ViT-H) dan probe atensi

• Persiapan data yang fleksibel untuk dataset video dan gambar

• Basis kode mencakup skrip untuk pra-pelatihan dan evaluasi

• Visualisasi melalui model difusi kondisional di ruang laten

Memulai dengan V-JEPA

1. 1

   Kloning Repositori: Dapatkan basis kode V-JEPA dari GitHub.

2. 2

   Instal Dependensi: Siapkan lingkungan Python (misalnya, menggunakan conda) dan instal paket yang diperlukan.

3. 3

   Konfigurasi Eksperimen: Perbarui jalur dalam file konfigurasi di direktori `configs` untuk data, log, dan checkpoint.

4. 4

   Siapkan Data: Format dataset video dan gambar sesuai dengan struktur CSV atau ImageFolder yang ditentukan.

5. 5

   Luncurkan Pra-pelatihan: Jalankan pra-pelatihan lokal atau terdistribusi menggunakan `app/main.py` atau `app/main_distributed.py`.

6. 6

   Luncurkan Evaluasi: Jalankan evaluasi lokal atau terdistribusi untuk tugas hilir menggunakan `evals/main.py` atau `evals/main_distributed.py`.

7. 7

   Gunakan Model yang Telah Dilatih Sebelumnya: Unduh dan integrasikan model V-JEPA yang telah dilatih sebelumnya yang disediakan untuk aplikasi Anda.

Kasus Penggunaan V-JEPA

• Pembelajaran Representasi Video
• Klasifikasi Gambar
• Klasifikasi Video
• Adaptasi Tugas Hilir
• Penelitian dan Pengembangan
• Prediksi Fitur

FAQ dari V-JEPA

• Apa itu V-JEPA dan apa tujuan utamanya?

  V-JEPA adalah implementasi PyTorch untuk pembelajaran mandiri dari video, berfokus pada pembelajaran representasi visual melalui prediksi fitur di ruang laten tanpa rekonstruksi piksel.

• Bagaimana V-JEPA berbeda dari metode pembelajaran mandiri lainnya?

  V-JEPA membedakan dirinya dengan menggunakan arsitektur prediktif joint-embedding dan memprediksi fitur di ruang laten, menghindari rekonstruksi tingkat piksel dan hanya mengandalkan tujuan tanpa pengawasan.

• Jenis data apa yang digunakan V-JEPA untuk pelatihan?

  V-JEPA dilatih pada piksel video, terutama menggunakan dataset seperti VideoMix2M. Ia juga mendukung dataset gambar untuk tujuan evaluasi.

• Bisakah representasi V-JEPA digunakan untuk tugas hilir?

  Ya, representasi V-JEPA dirancang agar serbaguna dan berkinerja baik pada berbagai tugas video dan gambar hilir, seringkali dengan backbone yang beku dan probe yang ringan.

• Apakah V-JEPA memerlukan anotasi manusia untuk pelatihan?

  Tidak, V-JEPA adalah metode mandiri dan tidak memerlukan anotasi manusia untuk fase pra-pelatihannya.

• Model pra-pelatihan V-JEPA apa saja yang tersedia?

  Repositori menyediakan model yang telah dilatih sebelumnya, termasuk varian ViT-L dan ViT-H, dengan ukuran patch dan resolusi yang berbeda.

• Bagaimana cara menyiapkan data video saya untuk V-JEPA?

  Data video harus diatur ke dalam file CSV dengan jalur file absolut dan label kelas bilangan bulat. Label diabaikan selama pra-pelatihan tetapi digunakan untuk evaluasi yang diawasi.

• Bagaimana cara meluncurkan pra-pelatihan V-JEPA?

  Anda dapat meluncurkan pra-pelatihan secara lokal menggunakan `app/main.py` atau secara terdistribusi menggunakan `app/main_distributed.py`, dengan menentukan file konfigurasi.

• Apa saja kemampuan evaluasi V-JEPA?

  V-JEPA mendukung evaluasi untuk klasifikasi gambar, klasifikasi video, dan tugas-tugas lain menggunakan probe atensi pada backbone yang beku.

• Apa peran prediktor dalam V-JEPA?

  Prediktor dalam V-JEPA membuat prediksi di ruang laten untuk bagian video yang ditutupi atau di masa depan, berdasarkan konteks yang diamati.

• Apakah kode V-JEPA tersedia untuk digunakan?

  Ya, kode dan model V-JEPA tersedia untuk umum di GitHub di bawah lisensi yang permisif.