설명
Microsoft Research는 소형 언어 모델(SLM) 분야의 중요한 발전인 Phi-2를 선보였습니다. 이 27억 개의 매개변수를 가진 모델은 뛰어난 추론 및 언어 이해 능력을 보여주며, 130억 개 미만의 기본 언어 모델 중에서 선두 주자로 자리매김하고 있습니다. Phi-2는 다양한 벤치마크에서 최첨단 성능을 달성하며, 종종 크기의 최대 25배에 달하는 모델과 동등하거나 능가하는 성능을 보여줍니다. 이러한 성능 향상은 혁신적인 모델 확장 기술과 훈련 데이터의 세심한 큐레이션 덕분입니다.
Phi-2의 개발은 Phi-1 및 Phi-1.5를 포함한 이전 Phi 제품군의 모델을 기반으로 합니다. Phi-1은 Python 코딩에서 뛰어났지만, Phi-1.5는 일반 상식 추론 및 언어 이해에서 크기의 5배에 달하는 모델과 동등한 성능을 보여주었습니다. Phi-2는 Phi-1.5의 지식을 더 큰 아키텍처에 통합하여 이러한 기능을 더욱 개선하고, 훈련 수렴을 가속화하며 벤치마크 점수를 향상시킵니다.
Phi-2 성공의 핵심 통찰력은 훈련 데이터 품질의 중요성입니다. Microsoft Research는 "교과서 품질" 데이터에 극도로 집중하여 일반 상식 추론, 일반 지식, 과학, 일상 활동 및 마음 이론을 가르치도록 설계된 합성 데이터셋을 통합했습니다. 이는 교육적 가치와 콘텐츠 품질을 기준으로 신중하게 필터링된 웹 데이터로 보강됩니다. 이 모델은 NLP 및 코딩 작업을 위해 합성 및 웹 데이터셋의 혼합물에 대한 여러 차례의 통과를 통해 1.4조 개의 토큰으로 훈련된 Transformer 기반입니다.
Phi-2는 Azure AI Studio 모델 카탈로그에서 사용할 수 있어 연구 및 개발을 촉진합니다. 인간 피드백 기반 강화 학습(RLHF) 또는 지침 미세 조정을 거치지 않았음에도 불구하고, Phi-2는 일부 정렬된 오픈 소스 모델에 비해 독성 및 편향 측면에서 더 나은 행동을 보여줍니다. 이는 Phi-1.5에서 관찰된 것과 일치하며, 맞춤형 데이터 큐레이션 기술에 기인합니다.
Phi-2의 컴팩트한 크기는 기계적 해석 가능성, 안전 개선 및 다양한 작업에 걸친 미세 조정 실험과 같은 영역을 탐구하는 연구자들에게 훌륭한 플랫폼입니다. Big Bench Hard, 일반 상식 추론, 언어 이해, 수학 및 코딩을 포함한 복잡한 벤치마크에서의 성능은 Mistral 7B 및 Llama-2 모델과 같은 더 큰 모델과 필적하거나 능가하며, Gemini Nano 2와도 경쟁합니다.
Phi-2 언어 모델 하이라이트
27억 개의 매개변수
130억 개 미만 모델의 최첨단 성능
복잡한 벤치마크에서 최대 25배 더 큰 모델 능가
고급 추론 및 언어 이해 능력
"교과서 품질" 데이터 및 큐레이션된 웹 데이터로 훈련
Transformer 기반 아키텍처
다음 단어 예측 목표
1.4조 개의 토큰으로 훈련
Azure AI Studio 모델 카탈로그에서 사용 가능
RLHF 또는 지침 미세 조정 없이 강력한 성능 시연
일부 정렬된 모델에 비해 낮은 독성 및 편향 시연
연구, 해석 가능성 및 미세 조정 실험에 이상적
Phi-2 언어 모델 시작하기
모델 액세스: Azure AI Studio 모델 카탈로그에서 Phi-2를 찾으십시오.
인증: Azure AI 서비스에 필요한 인증 자격 증명을 설정하십시오.
환경 설정: 필요한 라이브러리 및 SDK로 개발 환경을 구성하십시오.
API를 통한 통합: 제공된 API 엔드포인트를 사용하여 프롬프트를 보내고 모델 출력을 받으십시오.
실험: 모델의 기능을 사용하여 미세 조정을 시작하거나 연구 실험을 수행하십시오.
Phi-2 언어 모델의 사용 사례
- 연구 탐색
- 미세 조정 실험
- 추론 작업
- 언어 이해
- 일반 상식 추론
