V-JEPA

설명

V-JEPA, 즉 Video Joint Embedding Predictive Architecture는 Meta AI Research(FAIR)에서 개발한 비디오로부터의 자기 지도 시각적 표현 학습을 위한 공식 PyTorch 코드베이스입니다. 이 방법은 VideoMix2M과 같은 데이터셋의 비디오 픽셀을 수동적으로 관찰하여 강력한 시각적 표현을 학습하는 데 중점을 둡니다. 픽셀 재구성에 의존하는 생성 모델과 달리 V-JEPA는 비지도 특징 예측 목표를 사용합니다. 사전 학습된 이미지 인코더, 텍스트, 부정적 예제, 인간 주석 또는 픽셀 수준 재구성이 필요하지 않아 순수한 비지도 접근 방식입니다.

V-JEPA 방법론의 핵심은 픽셀 디코더가 아닌 잠재 공간에서 작동하는 예측기를 포함합니다. 이 예측기는 관찰된 부분을 기반으로 비디오의 누락된 영역에 대한 예측을 수행합니다. 이러한 예측을 시각화하기 위해 조건부 확산 모델을 사용하여 잠재 공간 예측을 해석 가능한 픽셀로 디코딩합니다. 중요하게도, 이 디코딩 과정 동안 사전 학습된 V-JEPA 인코더 및 예측기 네트워크는 고정되어 학습된 표현이 보존되도록 합니다.

코드베이스는 사전 학습 및 평가를 모두 용이하게 하도록 구성되어 있습니다. `configs` 디렉토리의 구성 파일은 실험 매개변수를 지정하여 사용자가 로그, 체크포인트 및 학습 데이터의 경로를 사용자 정의할 수 있도록 합니다. `app` 디렉토리에는 학습 루프가 포함되어 있으며, `main.py`는 로컬 디버깅용이고 `main_distributed.py`는 submitit 및 SLURM과 같은 도구를 사용하여 클러스터에서 분산 학습을 시작하기 위한 것입니다. `evals` 디렉토리에는 이미지 및 비디오 분류와 같은 작업에 대한 평가 스크립트가 포함되어 있으며 로컬 및 분산 실행도 지원합니다.

데이터 준비에는 비디오 데이터셋에 대한 CSV 파일을 생성하는 작업이 포함되며, 각 줄은 비디오 파일의 절대 경로와 정수 클래스 레이블을 지정합니다(비지도 사전 학습 중에는 무시되지만 지도 평가에는 사용됨). 이미지 데이터셋은 표준 PyTorch ImageFolder 클래스를 사용하여 준비되며 특정 디렉토리 구조가 필요합니다. 이 프로젝트는 K400, SSv2, ImageNet1K, Places205 및 iNat21과 같은 다양한 다운스트림 작업을 위한 ViT-L 및 ViT-H 변형을 포함한 사전 학습된 모델과 주의 프로브를 제공하여 학습된 표현의 다용성을 보여줍니다.

V-JEPA의 핵심 기능

• 공동 임베딩 예측 아키텍처(JEPA)를 사용한 비디오 자기 지도 학습

• 잠재 공간에서의 비지도 특징 예측 목표

• 픽셀 수준 재구성 또는 인간 주석에 의존하지 않음

• 다운스트림 비디오 및 이미지 작업을 위한 다용도 시각적 표현

• 제공된 모델 및 구성이 포함된 공식 PyTorch 코드베이스

• 로컬 및 분산 학습 및 평가 지원

• 사전 학습된 모델(ViT-L, ViT-H) 및 주의 프로브 포함

• 비디오 및 이미지 데이터셋을 위한 유연한 데이터 준비

• 코드베이스에는 사전 학습 및 평가를 위한 스크립트 포함

• 잠재 공간에서의 조건부 확산 모델을 통한 시각화

V-JEPA 시작하기

1. 1

   리포지토리 복제: GitHub에서 V-JEPA 코드베이스를 가져옵니다.

2. 2

   종속성 설치: Python 환경(예: conda 사용)을 설정하고 필요한 패키지를 설치합니다.

3. 3

   실험 구성: 데이터, 로그 및 체크포인트에 대한 `configs` 디렉토리 내 구성 파일의 경로를 업데이트합니다.

4. 4

   데이터 준비: 지정된 CSV 또는 ImageFolder 구조에 따라 비디오 및 이미지 데이터셋을 형식화합니다.

5. 5

   사전 학습 시작: `app/main.py` 또는 `app/main_distributed.py`를 사용하여 로컬 또는 분산 사전 학습을 실행합니다.

6. 6

   평가 시작: `evals/main.py` 또는 `evals/main_distributed.py`를 사용하여 다운스트림 작업을 위한 로컬 또는 분산 평가를 실행합니다.

7. 7

   사전 학습된 모델 활용: 제공된 사전 학습된 V-JEPA 모델을 다운로드하여 애플리케이션에 통합합니다.

V-JEPA의 사용 사례

• 비디오 표현 학습
• 이미지 분류
• 비디오 분류
• 다운스트림 작업 적응
• 연구 및 개발
• 특징 예측

V-JEPA의 FAQ

• V-JEPA란 무엇이며 주요 목적은 무엇인가요?

  V-JEPA는 비디오에서 자기 지도 학습을 위한 PyTorch 구현체로, 픽셀 재구성 없이 잠재 공간에서의 특징 예측을 통해 시각적 표현을 학습하는 데 중점을 둡니다.

• V-JEPA는 다른 자기 지도 학습 방법과 어떻게 다른가요?

  V-JEPA는 공동 임베딩 예측 아키텍처를 사용하고 잠재 공간에서 특징을 예측하여 픽셀 수준 재구성을 피하고 비지도 목표에만 의존한다는 점에서 차별화됩니다.

• V-JEPA는 학습에 어떤 종류의 데이터를 사용하나요?

  V-JEPA는 주로 VideoMix2M과 같은 데이터셋을 사용하여 비디오 픽셀로 학습됩니다. 평가 목적으로 이미지 데이터셋도 지원합니다.

• V-JEPA 표현을 다운스트림 작업에 사용할 수 있나요?

  예, V-JEPA 표현은 다용도로 설계되었으며 다양한 다운스트림 비디오 및 이미지 작업에서 좋은 성능을 발휘하며, 종종 고정된 백본과 경량 프로브를 사용합니다.

• V-JEPA는 학습에 인간 주석이 필요한가요?

  아니요, V-JEPA는 자기 지도 방법이며 사전 학습 단계에 인간 주석이 필요하지 않습니다.

• V-JEPA에 사용할 수 있는 사전 학습된 모델은 무엇인가요?

  리포지토리에는 다양한 패치 크기와 해상도를 가진 ViT-L 및 ViT-H 변형을 포함한 사전 학습된 모델이 제공됩니다.

• V-JEPA에 비디오 데이터를 어떻게 준비하나요?

  비디오 데이터는 절대 파일 경로와 정수 클래스 레이블이 포함된 CSV 파일로 구성해야 합니다. 사전 학습 중에는 레이블이 무시되지만 지도 평가에는 사용됩니다.

• V-JEPA 사전 학습을 어떻게 시작하나요?

  `app/main.py`를 사용하여 로컬에서 또는 `app/main_distributed.py`를 사용하여 분산 방식으로 사전 학습을 시작할 수 있으며, 구성 파일을 지정합니다.

• V-JEPA의 평가 기능은 무엇인가요?

  V-JEPA는 고정된 백본에 대한 주의 프로브를 사용하여 이미지 분류, 비디오 분류 및 기타 작업에 대한 평가를 지원합니다.

• V-JEPA에서 예측기의 역할은 무엇인가요?

  V-JEPA의 예측기는 관찰된 컨텍스트를 기반으로 비디오의 마스크되거나 미래 부분에 대한 잠재 공간 예측을 수행합니다.

• V-JEPA 코드를 사용할 수 있나요?

  예, V-JEPA 코드와 모델은 허가된 라이선스 하에 GitHub에서 공개적으로 사용할 수 있습니다.