설명
Meta AI는 공개적으로 사용 가능한 데이터셋으로 학습된 1750억 개의 매개변수를 가진 모델인 OPT-175B를 출시하여 대규모 언어 모델에 대한 접근성을 민주화하고 있습니다. 이 이니셔티브는 이전에는 자원이 풍부한 연구실에만 국한되었던 제한된 접근을 넘어, 기초적인 새로운 AI 기술에 대한 커뮤니티의 폭넓은 참여를 촉진하는 것을 목표로 합니다. 사전 학습된 모델과 필요한 학습 코드를 모두 제공함으로써, OPT-175B는 전 세계의 학술 연구원, 시민 사회, 정책 입안자 및 산업 연구소를 지원하여 재현 가능한 연구를 수행하고 집단적으로 해당 분야를 발전시킬 수 있도록 합니다.
이번 출시는 오픈 과학과 책임감 있는 AI 개발에 대한 약속을 바탕으로 합니다. Meta AI는 일일 학습 기록, 컴퓨팅 사용량 및 인적 오버헤드를 포함한 개발 프로세스에 대한 상세한 문서를 공유하고 있습니다. 이러한 투명성은 다른 연구자들이 그들의 작업을 기반으로 구축하고 공유된 모델에 대한 정량화 가능한 지표를 사용하여 잠재적 피해를 분석할 수 있도록 합니다. OPT-175B는 Meta의 오픈 소스 Fully Sharded Data Parallel (FSDP) API와 Megatron-LM 내 NVIDIA의 텐서 병렬 추상화를 사용하여 학습되었으며, GPT-3의 1/7에 해당하는 탄소 발자국으로 상당한 에너지 효율성을 달성했습니다.
OPT-175B 외에도 Meta AI는 동일한 데이터와 유사한 설정을 사용하여 학습된 일련의 소규모 기본 모델을 출시하여 규모 효과 연구를 용이하게 합니다. 여기에는 1억 2500만 개에서 300억 개까지의 매개변수 수를 가진 모델이 포함됩니다. 이번 출시는 비상업적 라이선스로 관리되며, 연구 사용 사례를 우선시하고 오용을 방지하는 것을 목표로 합니다. 윤리적 고려 사항을 정의하는 데 참여하는 목소리의 다양성을 높임으로써, Meta AI는 책임감 있는 AI 개발의 발전을 주도하고 대규모 언어 모델에 대한 명확한 지침을 수립하기를 희망합니다.
이러한 개방형 협업은 AI 연구의 발전에 매우 중요하며, 과학 커뮤니티가 최첨단 모델의 잠재력을 탐구하는 동시에 취약점을 탐색할 수 있도록 합니다. OPT-175B 및 관련 리소스의 출시는 대규모 언어 모델 생성의 최전선에 더 많은 관점을 가져오고, 책임감 있는 출시 전략을 설계하는 데 도움을 주며, 해당 분야에 전례 없는 수준의 투명성을 도입하는 것을 목표로 합니다.
OPT-175B 하이라이트
1750억 개의 매개변수
공개적으로 사용 가능한 데이터셋으로 학습됨
사전 학습된 모델 및 학습 코드 포함
연구용 비상업적 라이선스
학술 연구원 및 관련 조직에 접근 권한 부여
상세한 개발 프로세스 문서
학습 프로세스 전체 기록
피해 분석을 위한 정량화 가능한 지표
에너지 효율적인 학습 방법론
소규모 기본 모델 세트 출시
재현 가능한 연구 촉진
책임감 있는 AI 개발 촉진
LLM 개발의 투명성 향상
OPT-175B 시작하기
접근 요청: OPT-175B에 대한 접근 요청을 제출하십시오.
코드 다운로드: 학습 및 배포를 위한 오픈 소스 코드에 접근하십시오.
모델 획득: 소규모 기본 모델을 다운로드하십시오.
환경 설정: 필요한 라이브러리로 연구 환경을 준비하십시오.
모델 통합: 연구 작업을 위해 OPT-175B 모델을 로드하고 활용하십시오.
결과 분석: 실험을 수행하고 모델 동작 및 출력을 분석하십시오.
연구 기여: 결과를 공유하고 더 넓은 AI 커뮤니티에 기여하십시오.
OPT-175B의 사용 사례
- NLP 연구
- 편향 완화
- 모델 해석 가능성
- 책임감 있는 AI
- 재현 가능한 과학
- 텍스트 생성
- AI 윤리
