[더테크=전수연 기자] 스노우플레이크(Snowflake)가 ‘차세대 혁신을 열다(Unveil the Next Wave of Innovations)’라는 주제로 컨퍼런스를 열었다. 인공지능(AI)과 머신러닝(ML)의 확대에 따라 ‘데이터 클라우드’의 수요가 늘고 있는 가운데, 클라우드 플랫폼이 나아갈 방향 및 활용 사례를 제시했다.
스노우플레이크는 그랜드 인터컨티넨탈 서울 파르나스에서 ‘데이터 클라우드 월드 투어 2023’을 5일 개최했다.
이번 행사에 참여한 프랭크 슬루트만 스노우플레이크 CEO는 현재 데이터 클라우드의 방향성부터 설명했다. 슬루트만 CEO는 “데이터 클라우드는 큰 변화를 겪고 있다. 데이터는 분절돼 있다”며 “데이터를 하나의 유니버스로 만들기 위해 AI, ML의 잠재력을 구현할 수 있어야 한다”고 말했다.
또한 “근본적인 데이터 클라우드의 컨셉과 목적은 데이터 사일로(Data Silo, 조직 내 정보의 집합이지만, 다른 부서는 접근할 수 없는 분리된 정보)를 제거하는 것”이라며 “시스템 간 경계가 생기면 사일로가 발생한다. 텍스트, 오디오 등 비정형 데이터를 어떻게 통계로 보낼 수 있는지가 중요하다”고 설명했다.
데이터 통합관리에 대해서도 슬루트만 CEO는 “통합관리는 보안 규제 준수와 인증이 포함된다. 최근 이런 인증들의 중요도가 높아지고 있다”며 “사용자는 어떤 데이터를 볼 수 있는지 판단하게 된다. 이러한 필터에 통합관리가 필요하고 DB에 적용해 왔다”고 말했다.
크리스티안 클레이너만(Christian Kleinerman) 제품 담당 부사장은 현재 스노우플레이크가 가장 많이 투자하는 분야는 데이터 통합관리라고 강조했다. 그는 “AI, ML을 달성하는 프로그래밍과 보안을 위해 효율적인 플랫폼이 필요하다”며 “스노우플레이크가 구축 중인 도큐먼트 AI의 목표는 문서, PDF 등에 자연어로 질문을 던져 답변을 받는 것”이라고 전했다.
클레이너만 부사장은 “도큐먼트 AI는 문서로부터 추출된 데이터를 가져와 비정형 데이터를 정형 데이터로 전환하고 LLM(초거대언어모델)에 적용할 수 있다”며 “앞으로 전통적인 AI 뿐만 아니라 생성형 AI도 지원할 예정”이라고 말했다.
국내 기업의 데이터 클라우드 여정에 관한 이야기와 실제 비즈니스에 활용하고 있는 경험들도 이번 컨퍼런스에서 공유됐다.
홍성봉 아모레퍼시픽 상무는 데이터 인프라의 방향성에 대해 “많은 데이터가 발생하고 있고 앞으로 데이터의 역량은 늘어날 것”이라며 “엔지니어와 함께 마케터, 연구원 등 기술에 익숙하지 않은 사람들에게도 데이터 접근이 용이해야 한다”고 말했다.
홍 상무는 “대용량, 빠른 쿼리, 다양한 데이터 구조는 모두 중요하면서도 상호 배치되는 목표”라며 “클라우드 데이터 인프라 도입으로 데이터거버넌스팀, 빅데이터팀을 신설하고 클라우드 기반 인프라로 100% 전환해 구축 및 운영 비용을 절감했다”고 전했다.
김수형 카카오게임즈 실장은 자사 서비스의 흐름과 변화를 설명했다. 김 실장은 “게임 특성상 서버 접속과 글로벌 인프라 구축이 중요하다”며 “유일한 선택지가 클라우드였다. 공통지표분석과 데이터 쉐어 등 처리시스템이 필요해 플랫폼 구축을 결심했다”고 설명했다.
손동우 더핑크퐁컴퍼니 CTO는 “양과 질적으로 데이터 관리가 복잡해졌다. 과거에는 로그가 많아지면 속도가 느려지고 비용이 많이 들었다”며 “또 통합된 관점에서 분석이 어려워 복잡하다는 단점이 있었다”고 말했다. 손 CTO는 스노우플레이크 데이터 분석 툴로 회사의 모든 활동에 대한 로그를 쌓으며 머신러닝을 통해 미래를 예측하는 방식으로 변화했다고 전했다.
마지막으로 박성우 LG유플러스 담당은 차세대 분석 플랫폼 구축 배경으로 △무거운 시스템으로 인한 리소스 낭비 △성능 향상을 위한 시스템 확장 어려움 △장비 노후화에 따른 다운타임 발생 △비효율적인 온프레미스 시스템 유지보수 비용 및 인력 등을 꼽았는데 스노우플레이크 플랫폼 도입 이후 투자, 비용 최적화 효과 및 데이터 공유 확대와 업무 DX 강화 등의 효과를 확인했다고 언급했다.
