설명
Databricks는 AI의 효율성과 품질을 재정의하도록 설계된 새롭고 최첨단인 오픈 대규모 언어 모델(LLM)인 DBRX를 출시합니다. DBRX는 오픈 LLM을 위한 새로운 벤치마크를 설정하며, 이전에 폐쇄형 모델 API에만 독점적으로 제공되던 기능을 제공합니다. GPT-3.5를 능가하고 Gemini 1.0 Pro와 경쟁할 수 있으며, 특히 코드 생성에서 CodeLLaMA-70B와 같은 전문 모델을 능가하는 강점을 보여줍니다.
DBRX는 세분화된 Mixture-of-Experts(MoE) 아키텍처를 통해 고급 성능을 달성하며, LLaMA2-70B보다 최대 2배 빠른 추론 속도와 Grok-1과 같은 모델에 비해 훨씬 적은 활성 매개변수 수를 가능하게 합니다. Databricks Model Serving에서 호스팅될 때 DBRX는 사용자당 초당 최대 150개의 토큰을 달성할 수 있습니다. DBRX의 접근 방식을 사용한 MoE 모델 학습은 동등한 품질을 위해 밀집 모델 학습보다 약 2배 더 FLOP 효율적입니다.
이 모델은 Apache Spark 및 Unity Catalog와 같은 Databricks 도구를 사용하여 개발된 신중하게 큐레이션된 데이터셋을 활용하여 12조 개의 텍스트 및 코드 토큰으로 사전 학습되었습니다. DBRX는 회전 위치 인코딩(RoPE), 게이트 선형 유닛(GLU), 그룹화된 쿼리 어텐션(GQA)을 사용하며, 최대 컨텍스트 길이는 32,000 토큰입니다. 기본 모델(DBRX Base)과 명령어 튜닝 모델(DBRX Instruct) 모두 오픈 라이선스 하에 Hugging Face에서 사용할 수 있습니다.
DBRX Instruct는 Hugging Face Open LLM Leaderboard 및 Databricks Model Gauntlet을 포함한 다양한 벤치마크에서 선두를 달리고 있습니다. 프로그래밍 및 수학에서 뛰어난 성능을 보여 HumanEval 및 GSM8k에서 Grok-1 및 CodeLLaMA-70B와 같은 모델보다 높은 점수를 기록했습니다. DBRX Instruct는 또한 긴 컨텍스트 작업 및 검색 증강 생성(RAG)에서 강력한 성능을 보여주며, 많은 시나리오에서 GPT-3.5 Turbo를 능가합니다.
Databricks는 종량제 가격 책정 및 프로덕션 애플리케이션을 위한 프로비저닝된 처리량 옵션을 통해 Foundation Model API를 통해 DBRX를 제공합니다. 고객은 Databricks Marketplace에서 다운로드하여 Model Serving에 배포함으로써 DBRX를 비공개로 호스팅할 수도 있습니다. 이 릴리스는 기업이 GenAI 환경에서 데이터와 운명을 제어할 수 있도록 지원하며, 강력하고 효율적인 LLM 도구에 대한 액세스를 제공합니다.
DBRX LLM 하이라이트
최첨단 오픈 LLM
Mixture-of-Experts (MoE) 아키텍처
총 132B 매개변수, 활성 36B 매개변수
12T 토큰의 텍스트 및 코드 데이터로 학습
32K 토큰 컨텍스트 창
벤치마크에서 GPT-3.5 능가
Gemini 1.0 Pro와 경쟁 가능
프로그래밍 및 수학에서 강력한 성능
LLaMA2-70B보다 최대 2배 빠른 추론
Hugging Face에서 사용 가능
Databricks Foundation Model API를 통해 액세스 가능
검색 증강 생성(RAG) 지원
DBRX LLM 시작하기
모델 액세스: Databricks Foundation Model API를 사용하거나 Hugging Face에서 다운로드합니다.
인증: 필요한 API 키 또는 액세스 자격 증명을 설정합니다.
환경 설정: 필요한 라이브러리로 개발 환경을 구성합니다.
API를 통한 통합: 애플리케이션에서 DBRX에 대한 API 호출을 구현합니다.
최적화: 모델 매개변수를 미세 조정하거나 성능을 위해 Databricks Model Serving을 활용합니다.
DBRX LLM의 사용 사례
- 코드 생성
- 콘텐츠 제작
- 데이터 분석
- 질의응답
- 요약
- 챗봇
- 연구 지원
