업스테이지 LLM, 허깅페이스 평가 1위 차지

오픈 LLM 리더보드 평가서 72.3점을 획득
70B 매개변수로 구성된 경량 모델로 GPT-3.5 추월

 

[더테크=조명의 기자] 국내 스타트업이 개발한 생성 AI 모델이  '글로벌 톱 모델'로 인정받았다. 

 

업스테이지는 자사 생성 AI 모델이 글로벌 머신러닝 플랫폼 허깅페이스에서 운영하는 ‘오픈 LLM(거대언어모델) 리더보드’ 평가 점수에서 72.3점을 획득해 1위를 차지했다고 1일 밝혔다. 

 

이는 오픈AI의 챗GPT 기반인 GPT-3.5가 받은 71.9점보다 높은 수준이다. 

 

허깅페이스 오픈 LLM 리더보드는 오픈소스 생성 AI 모델의 바로미터로 꼽힌다. 전 세계 500여개의 오픈 모델들이 추론과 상식 능력, 언어 이해 종합능력 및 환각현상(할루시네이션) 방지 등 4가지 지표의 평균 점수로 순위가 매겨진다.

 

앞서 지난달 업스테이지는 허깅페이스를 통해 공개한 30B(300억) 매개변수 모델이 평균 67점을 획득, 같은 날 발표된 메타의 ‘라마(LLaMA) 2’ 70B 모델을 추월하고 1위를 달성하기도 했다.

 

라마2 발표 이후 미국 스테빌리티 AI의 ‘스테이블 벨루가2’ 모델이 71.4점으로 1위에 올라섰지만, 업스테이지는 라마 270B(700억) 매개변수 기반으로 파인튜닝한 모델을 내놓으며 1위를 재탈환했다.

 

특히 해당 모델이 챗GPT의 기반이 되는 GPT-3.5의 벤치마크 평가(71.9점) 점수를 넘기면서 허깅페이스 리더보드에서 GPT-3.5의 점수를 능가한 것은 업스테이지가 최초라고 회사는 설명했다. 

 

앞으로 업스테이지는 세계적인 인정받은 AI 기술력을 바탕으로 ‘프라이빗 AI’ 시장 개척을 본격화한다는 계획이다. 프라이빗AI는 기업 내부 데이터만 학습해 정보 유출을 막고 잘못된 정보를 생성하는 환각 현상을 방지하는데 특화된 솔루션이다. 보안 이슈 등으로 생성 AI 도입을 주저하는 기업들에게 대체재로 주목받고 있다.


관련기사

93건의 관련기사 더보기

배너

배너