[더테크=전수연 기자] 글로벌 데이터 클라우드 기업 스노우플레이크(Snowflake)가 개방성과 성능을 갖춘 엔터프라이즈급 LLM ‘스노우플레이크 아크틱(Snowflake Arctic)’을 출시했다고 25일 밝혔다.

스노우플레이크 고유의 전문가혼합(MoE, Mixture-of-Experts) 방식으로 설계된 아크틱은 동급 최고 성능과 생산성을 지원한다. 기업의 복잡한 요구사항 처리에도 최적화돼 SQL 코드 생성, 명령 이행 등 다양한 기준에서 최고 조건을 충족한다.

특히 아크틱은 무료로 상업 이용까지 가능한 아파치 2.0 라이선스다. 스노우플레이크는 AI 학습 방법에 대한 연구의 자세한 사항을 공개하며 엔터프라이즈급 AI 기술에 대한 새로운 개방 표준을 수립했다. 또 아크틱 LLM은 스노우플레이크 아크틱 모델군의 일부로 검색 사용을 위한 텍스트 임베딩 모델도 포함됐다.

시장조사기관 포레스터가 발표한 최근 보고서에 따르면 글로벌 기업의 AI 의사 결정권자 중 약 46%는 AI 전략의 일환으로 자신이 속한 기업에 생성형 AI를 도입하기 위해 기존의 오픈소스 LLM을 활용한다고 답했다.

이를 위한 스노우플레이크 데이터 클라우드 플랫폼은 현재 글로벌 9400여 개 기업, 기관의 데이터 기반으로 활용되고 있다. 이들은 업계 최고 수준의 개방성을 제공하는 LLM을 통해 데이터를 활용할 수 있게 된다.

아파치 2.0 라이선스를 적용한 오픈소스 모델인 아크틱은 코드 템플릿과 함께 추론과 학습방식을 선택할 수 있는 유연성도 제공한다. 사용자는 엔비디아(NVIDIA) NIM, 엔비디아 텐서RT-LLM(TensorRT-LLM), vLLM, 허깅페이스(Hugging Face) 등 기업이 선호하는 프레임워크로 아크틱을 사용하고 커스터마이징할 수 있다.

스노우플레이크 코텍스에서는 서버리스 추론을 통해 아크틱을 즉시 사용할 수도 있다. 스노우플레이크 코텍스는 완전 관리형 서비스로 허깅페이스, 라미니, 마이크로소프트 애저 등 다양한 모델 목록과 함께 데이터 클라우드에서 머신러닝, AI 솔루션을 제공한다.

스노우플레이크 AI 연구팀은 연구원과 시스템 엔지니어들로 구성돼있다. 아크틱 구축에는 3개월 미만이 소요됐고 모델 학습에는 아마존 일래스틱 컴퓨트 클라우드 P5 인스턴스가 활용됐으며 학습 비용은 유사 모델 대비 1/8에 그쳤다. 

아크틱의 차별회된 MoE 설계는 기업의 요구사항에 따라 세밀하게 설계된 데이터 조립을 통해 학습 시스템과 모델 성능 모두를 향상한다. 또한 4800억 개의 매개 변수를 한 번에 17개씩 활성화함으로써 토큰 효율과 품질을 구현하도록 제공한다.

아울러 스노우플레이크는 기업이 각자의 데이터를 활용해 실용적인 AI, 머신러닝 앱 제작에 필요한 데이터 기반과 최첨단 AI 빌딩 블록을 제공한다. 사용자는 스노우플레이크 코텍스를 통해 아크틱을 사용할 경우 데이터 클라우드의 보안 및 거버넌스 범위 내에서 프로덕션급 AI 앱을 적정 규모로 구축할 수 있다.