[더테크 이지영 기자]  지금의 챗GPT 등 대규모 언어모델(LLM) 서비스는 대부분 고가의 GPU 서버와 AI 가속기에 의존해 운영되고 있다. 이로 인해 서비스 규모가 커질수록 인프라 비용과 전력 소모가 급증하는 구조적 한계가 반복적으로 지적돼 왔다. 국내 연구진이 이러한 문제를 근본적으로 해결할 수 있는 차세대 AI 인프라 기술을 선보였다.

KAIST(총장 이광형)는 전산학부 박종세 교수를 중심으로 한 ‘애니브릿지(AnyBridge) AI’ 팀이 GPU 중심 구조에서 벗어나 다양한 AI 가속기를 통합 활용할 수 있는 LLM 서비스용 인프라 소프트웨어를 개발했다고 30일 밝혔다. 해당 기술은 카카오가 주최한 ‘4대 과학기술원×카카오 AI 육성 프로젝트’에서 대상을 수상했다.

현재 대부분의 LLM 서비스는 GPU 성능에 크게 의존하는 구조로 설계돼 있다. 이는 곧 서비스 확장 시 비용 부담과 에너지 소비 증가로 직결된다. 애니브릿지 AI 팀은 문제의 핵심 원인이 하드웨어 자체가 아니라, GPU·NPU·PIM 등 다양한 AI 가속기를 유기적으로 연결·운용할 수 있는 시스템 소프트웨어 계층의 부재에 있다고 분석했다.

연구진은 가속기 종류와 무관하게 동일한 인터페이스와 런타임 환경에서 LLM을 서비스할 수 있는 통합 소프트웨어 스택을 제안했다. 특히 여러 AI 가속기를 하나의 시스템에서 함께 활용하는 ‘멀티 가속기 LLM 서빙 런타임’을 핵심 기술로 제시하며, GPU 중심으로 고착된 기존 AI 인프라 구조의 대안을 제시했다.

이 기술을 활용하면 특정 벤더나 하드웨어에 종속되지 않고, 작업 특성에 따라 가장 효율적인 AI 가속기를 선택·조합할 수 있다. 이를 통해 LLM 서비스 운영 비용과 전력 소모를 줄이고, 대규모 확장에도 유연하게 대응할 수 있을 것으로 기대된다.

애니브릿지 AI는 KAIST 전산학부 교수진이 참여한 기술 창업팀으로, 미국 AI 반도체 기업 SambaNova 공동창업자인 쿤레 올루코툰 스탠퍼드대 교수가 자문위원으로 참여해 기술 고도화와 글로벌 사업 확장도 함께 추진 중이다.

박종세 교수는 “이번 성과는 GPU 중심 LLM 서비스 구조의 한계를 넘어서는 시스템 소프트웨어의 중요성을 인정받은 결과”라며 “차세대 AI 인프라 핵심 기술로 발전시켜 산업 현장에 적용해 나가겠다”고 밝혔다.