[더테크=전수연 기자] 한국전자통신연구원(ETRI)이 LLM을 기반으로 만들어진 절차들의 성능을 자동으로 평가하는 기술을 세계 최초로 개발했다. 이를 통해 빠르고 객관적인 절차 생성 성능평가가 가능해질 전망이다.

ETRI는 사람이 말로 작업을 명령하면 스스로 작업 절차를 이해하고 계획을 수립해 수행하는 절차 생성 AI의 성능 자동 평가를 위한 로타벤치마크(LoTa-Bench) 기술을 개발했다고 7일 밝혔다.

ETRI는 알프레드 기반 벤치마크 결과 오픈AI의 GPT-3는 21.36%, GPT-4는 40.38%, 메타의 라마2-70B 모델은 18.27%의 성공률을 보였다고 전했다. 규모가 클수록 절차 생성 능력도 우수했다. 성공률이 20%면 100개의 절차 중 20개를 성공한 셈이다.

또 연구진은 세계 최우수 AI 학술대회 중 하나인 표현학습국제학회(ICLR)에 논문을 발표하고 본 기술을 이용해 LLM 총 33종의 절차 생성 성능 평가 결과를 깃허브에 공개했다. 본 기술 개발로 LLM을 이용한 로봇 작업계획 기술의 성능평가 시간, 비용을 대폭 줄일 수 있게 됐다고도 전했다.

이와 함께 연구진은 소프트웨어를 오픈소스로 공개하면서 기업, 학교 등에서 본 기술을 자유롭게 활용해 관련 기술의 발전을 앞당길 수 있을 것으로 기대하고 있다.

ETRI는 LLM의 절차 수행 결과가 지시 명령 목표를 잘 달성했는지에 대한 절차 이해 기술 성능을 자동으로 평가하는 로타벤치마크 기술을 개발했다. 기존에는 절차 이해 성능 평가를 자동으로 할 수 있는 벤치마크 기술이 없어서 사람이 직접 평가해야 했다.

이를 위한 로타벤치마크 기술은 사용자의 명령에 따라 LLM이 생성한 작업 절차를 실행하고 결과가 지시한 목표와 같은지 자동으로 비교해 성공 여부를 판단한다. 성능 평가는 로봇, 체화 에이전트 지능의 연구개발 목적으로 개발된 미국 알렌인공지능연구소와 미국 MIT 가상 시뮬레이션 환경에서 이뤄졌다.

연구진은 새로운 절차 생성 방법을 쉽고 빠르게 검증할 수 있는 로타벤치마크 기술의 이점을 활용해 데이터를 통한 훈련으로 절차 생성 성능을 개선할 수 있는 두 가지 전략도 발견했다. 

해당 전략은 컨텍스트 내 예제 선별법과 피드백 기반 재계획이다. 또한 파인튜닝을 통한 절차 생성 성능 개선 효과도 확인됐다.