[더테크 이승수 기자]  AI 데이터센터 경쟁이 치열해지는 가운데, GPU 성능보다 더 중요한 변수로 ‘메모리 병목’ 문제가 떠오르고 있다. 국내 팹리스 반도체 기업 프라임마스가 수십에서 수백TB급 메모리 확장 솔루션 ‘JBOM(Just a Bunch of Memory)’ 양산에 나서며 AI 인프라 시장 공략을 본격화한다.

프라임마스는 올해 하반기부터 CXL(Compute Express Link) 기반 초대용량 메모리 확장 솔루션 JBOM을 양산 공급한다고 28일 밝혔다. 현재 마이크론과는 양산 공급 협력을 진행하고 있으며, 삼성전자와는 차세대 메모리 솔루션 공동 개발에 나서고 있다.

JBOM은 다수의 메모리 모듈을 하나의 메모리 풀처럼 묶어 서버 메모리를 대규모로 확장하는 기술이다. 현재 일반 CPU 서버의 D램 용량 한계는 약 2~4TB 수준이지만, JBOM을 활용하면 서버당 수백TB 규모까지 메모리를 확장할 수 있다.

프라임마스는 올해 40TB~120TB급 솔루션을 우선 공급하고, 내년에는 240TB 이상으로 확대하는 로드맵을 추진 중이다.

업계에서는 AI 데이터센터의 핵심 병목 현상으로 메모리 부족 문제를 지목하고 있다. GPU 연산 성능은 빠르게 향상되고 있지만 메모리 용량과 데이터 접근 구조가 이를 따라가지 못하면서, 고가 GPU가 충분히 활용되지 못하는 비효율이 발생하고 있다는 설명이다.

실제 알리바바가 발표한 ‘벨루가(Beluga)’ 연구에 따르면 8TB급 CXL 메모리 확장 환경에서 AI 추론 엔진(vLLM) 처리량은 기존 대비 7.35배 향상된 것으로 나타났다. 메모리 확장이 AI 성능 자체를 좌우하는 핵심 요소로 떠오르고 있다는 의미다.

전덕호 프라임마스 기술전략 담당 상무는 “GPU를 계속 추가하는 방식만으로는 AI 성능 경쟁에 한계가 있다”며 “결국 메모리 병목을 얼마나 효율적으로 해결하느냐가 핵심 경쟁력이 될 것”이라고 말했다.

이어 “기술은 한국에서 개발하고 시장은 글로벌에서 검증받는 구조가 점점 중요해지고 있다”며 “메모리 중심 컴퓨팅 시대를 앞당기고 국내 반도체 생태계 경쟁력 강화에도 기여하겠다”고 밝혔다.

CXL은 CPU와 GPU, 메모리를 고속으로 연결하고 공유할 수 있는 차세대 인터커넥트 기술이다. AI 데이터센터에서는 이를 활용해 초대용량 메모리 풀을 구성하고 대규모 AI 모델 학습과 추론 효율을 높이는 방향으로 진화하고 있다.

프라임마스는 미국 실리콘밸리를 거점으로 글로벌 AI 인프라 시장 확대에도 속도를 내고 있다. 미국 정부기관이 추진하는 AI 데이터센터 실증 사업에 참여하는 한편, Microsoft 등 글로벌 데이터센터 운영사들과 협력도 확대하고 있다.