설명
OpenAI에서 개발한 Jukebox는 AI 기반 음악 생성을 위해 설계된 정교한 신경망입니다. 기본적인 노래를 포함하고 다양한 장르와 아티스트 스타일을 모방할 수 있는 원시 오디오 형태로 직접 음악을 생성합니다. 이는 기호 기반 음악 생성을 넘어 원시 오디오의 미묘한 차이를 포착하는 생성 모델의 중요한 발전입니다.
핵심적으로 Jukebox는 계층적 VQ-VAE(Vector Quantized Variational Autoencoder) 모델을 사용하여 원시 오디오를 이산적이고 저차원의 공간으로 압축합니다. 이 압축은 오디오 데이터에 내재된 매우 긴 시퀀스를 처리하는 데 중요하며, 모델이 높은 수준의 의미론적 구조를 학습할 수 있도록 합니다. VQ-VAE 아키텍처는 VQ-VAE-2에서 영감을 받았으며, 코드북 붕괴를 해결하고 스펙트럼 손실 추가를 포함한 재구성 품질을 개선하기 위한 수정이 이루어졌습니다. 이 모델은 44kHz 원시 오디오를 8배, 32배, 128배 다운샘플링하는 세 가지 압축 수준을 사용하여 음높이, 음색, 볼륨과 같은 필수적인 음악 정보를 유지합니다.
오디오 압축 후, 트랜스포머 모델은 이러한 압축된 오디오 코드의 분포를 학습하는 사전 모델로 훈련됩니다. 이러한 사전 모델은 이산 공간에서 음악을 생성하며, 최상위 사전 모델은 장거리 구조를 포착하고 하위 사전 모델은 지역적인 음악적 세부 사항을 추가합니다. 모델은 Sparse Transformers의 단순화된 변형을 사용하여 자기회귀적으로 훈련되며, 각 모델은 72개의 계층적 자기 주의(factorized self-attention)를 특징으로 합니다. 이러한 계층적 접근 방식을 통해 Jukebox는 인상적인 오디오 품질을 가진 일관된 음악 작품을 생성할 수 있습니다.
Jukebox는 장르, 아티스트, 가사와 같은 다양한 입력으로 조건화될 수 있습니다. 이러한 정보를 입력으로 제공함으로써 사용자는 원하는 스타일의 음악을 생성하도록 생성 프로세스를 제어할 수 있습니다. 이 모델은 LyricWiki의 가사와 메타데이터와 쌍을 이룬 120만 곡의 대규모 데이터셋으로 훈련되었습니다. 특히 가사 조건화는 가사 내용과 해당 오디오 세그먼트를 일치시키기 위한 정교한 정렬 기술을 필요로 하여 노래 생성 능력을 향상시켰습니다.
기능에도 불구하고 Jukebox에는 한계가 있습니다. 생성된 노래는 반복되는 후렴구와 같은 익숙한 대규모 음악 구조가 부족할 수 있으며, 다운샘플링/업샘플링 프로세스는 눈에 띄는 노이즈를 발생시킬 수 있습니다. 샘플링 프로세스도 느려서 1분 오디오를 렌더링하는 데 약 9시간이 소요되므로 대화형 애플리케이션에는 적합하지 않습니다. 향후 작업은 음악성 개선, 노이즈 감소, 샘플링 속도 증가를 목표로 하며, 잠재적으로 병렬 샘플러로의 증류를 통해 이루어질 수 있습니다. OpenAI는 또한 모델의 범위를 다른 언어 및 지역의 노래를 포함하도록 확장하여 음악 제작에서 인간과 모델 간의 협업을 촉진할 계획입니다.
Jukebox 하이라이트
원시 오디오 형태로 음악 생성
기본적인 노래 기능 포함
장르, 아티스트, 가사 조건화 지원
다양한 음악 장르 모방
다양한 아티스트 스타일 모방
오디오 압축을 위한 계층적 VQ-VAE 활용
코드 생성을 위한 트랜스포머 모델 사용
120만 곡의 대규모 데이터셋으로 훈련
모델 가중치 및 코드 공개
생성된 샘플 탐색 도구 포함
여러 압축 수준으로 음악 출력
장거리 음악 구조 학습
Jukebox 시작하기
모델 가중치 및 코드 액세스: 제공된 GitHub 리포지토리에서 공개된 Jukebox 모델 및 관련 코드를 다운로드합니다.
입력 데이터 준비: 음악 생성을 위해 원하는 장르, 아티스트, 가사 정보를 수집합니다.
생성 매개변수 구성: 원하는 오디오 품질, 길이 및 조건화 입력에 대한 매개변수를 설정합니다.
생성 프로세스 실행: Jukebox 모델을 실행하여 원시 오디오 음악 샘플을 생성합니다.
생성된 샘플 탐색: 제공된 도구를 사용하여 출력을 듣고 분석합니다.
프로젝트에 통합: 공개된 코드를 사용자 정의 음악 생성 애플리케이션에 맞게 조정합니다.
Jukebox의 사용 사례
- AI 음악 생성
- 음악 스타일 모방
- 기본적인 노래 합성
- 창의적인 음악 탐색
- 사운드트랙 작곡
- 음악 연구
