[더테크=전수연 기자] 인공지능(AI)의 대중화와 함께 대두되고 있는 문제인 개인정보 보안, 안정성, 소비 전력 등을 개선할 수 있는 ‘온디바이스(On-device)’ 기술이 날로 확장되고 있다. 온디바이스 AI는 외부 서버, 클라우드에 연결돼 데이터를 주고받지 않고 기기 자체에서 직접 AI 서비스를 제공하는 기술이다.

 

클라우드와 연결돼 데이터를 전송할 경우 데이터의 무결성, 기밀성, 유출 등에 대한 위험성이 존재한다. 반면 온디바이스 기술은 스마트폰, 노트북, 웨어러블 기기 등 내부에서 정보를 직접 처리하기 때문에 클라우드 기반 AI 대비 뛰어난 보안성, 빠른 작업 속도 등을 제공할 수 있다.

 

국내에서는 지난 1월 삼성전자의 갤럭시 S24 시리즈 출시를 통해 해당 기술이 알려졌다. 갤럭시 S24는 ‘일상 속 초연결 AI’를 강조했는데, 다른 앱을 켜지 않고 간단한 동작만으로 검색을 진행하는 ‘서클 투 서치’와 외부 애플리케이션 없이 통역을 제공하는 ‘실시간 통역 통화’ 등의 기능이 탑재됐다.

 

이러한 기능들은 별도의 연결 없이 스마트폰 내부에서 활용되기 때문에 빠른 속도와 간편한 사용성을 제공한다. 삼성전자가 추구하는 ‘심리스(Seamless, 매끄러운)’한 서비스 연결과도 맞닿아 있다고 볼 수 있다.

 

뿐만 아니라 최근 진행된 MWC(모바일월드콩그레스) 2024에서도 온디바이스 기술을 내세운 모바일 기기들이 등장했다. 우선 샤오미는 독일 카메라 업체 라이카와 만든 카메라 기능인 ‘Lens to Legend’와 AI 기능을 활용해 검색어만으로 사진을 찾는 ‘AI 사진 검색’을 시연했다.

 

샤오미는 자체 운영체제(OS)인 하이퍼OS를 스마트폰, 웨어러블 기기, 전기차 등 모든 디바이스에 적용한다고 밝혔다. 이러한 연결성 강화와 온디바이스 AI 적용을 통해 동영상 자막·음성을 실시간으로 번역하고 사진 편집을 간편하게 하는 등의 기능을 제공할 계획이다.

 

화웨이에서 분사한 아너는 ‘매직6 프로’를 내세웠다. 아너는 스마트폰 우측 탭에 여러 앱을 배치해 기존에 사용하던 다른 앱과의 연동을 돕는 ‘AI 매직 포털’ 기능을 강조했다. 예를 들어 주소가 포함된 문자메시지를 길게 누르면 해당 주소를 바로 인식해 지도·내비게이션 등의 앱과 바로 연동이 가능하다.

 

중국 업체 비보도 MWC 기간 동안 자체 LLM인 ‘블루LM’을 탑재한 온디바이스 AI 스마트폰을 소개했다. 또한 AI가 카메라를 통해 주위 환경, 움직임을 인식하고 문장으로 설명하는 시각장애인용 ‘비보 씨’도 선보였다.

 

이러한 스마트폰과의 결합뿐만 아니라 노트북 시장 역시 온디바이스 AI의 영향이 나타나고 있다. 

 

인텔은 ‘AI Everywhere’라는 수식어와 함께 생성형 AI를 활용해 간단한 텍스트 입력만으로 이미지·영상을 생성하고 음악을 작곡하는 등의 AI PC 사례를 소개했다. 

 

또한 올해는 온디바이스 AI가 시장에 본격 등장하고 있다며 이를 위한 강력한 하드웨어·소프트웨어에 대한 수요 증가를 예측했다. 그러면서 인텔은 향후 AI PC용 애플리케이션까지 선보일 계획을 밝혔다. 

 

폴라리스오피스는 AI 전문기업 업스테이지와 ‘온디바이스 AI 오피스’를 공동 개발하고 있다. 온디바이스 AI 오피스는 글로벌 문서 소프트웨어 폴라리스 오피스에 업스테이지의 LLM 솔라(Solar)를 탑재한 기능이다.

 

AI 오피스는 온디바이스 AI 기반 문서 소프트웨어로, 인터넷과 클라우드 연결 없이 노트북, 스마트폰 등 개인 기기에서 단독 동작할 수 있다. 이를 통해 정부기관, 금융 분야 등의 폐쇄망 환경이나 인터넷 접속이 되지 않는 비행기, 야외 등에서도 AI 기능이 탑재된 오피스 소프트웨어를 사용할 수 있게 된다.

 

이 외에도 소니드 자회사 소니드로보틱스는 ‘클라우드 프리 온디바이스 비전 AI’ 개발을 마쳤다. 해당 AI는 클라우드와 연동하지 않고 CCTV 등에서 촬영된 영상, 이미지 데이터를 디바이스에서 실시간 분석해 자연재해, 교통·폭행 사고 등의 돌발 상황을 감지한다.

 

디바이스 자체에서 돌발 상황을 분석하기 때문에 클라우드 접속이 어려운 지방 외곽 대형 공사장, 하천변, 산악지역 등의 CCTV와 연동될 경우 사고를 감지할 수 있다.

 

엔비디아는 노트북에서 AI를 내부 처리하기 위한 온디바이스 AI 전용 그래픽처리장치(GPU)를 출시했다. 해당 모델은 휴대용 장치에서 생성형 AI, 이미지 렌더링, 처리 작업을 위해 설계된 전문 가속기라고 볼 수 있다.

 

해당 제품 계발 계기에 대해 엔비디아는 “생성 AI, 하이브리드 작업 환경이 새로운 업계 표준이 되고 있다”며 “애플리케이션을 로컬에서 실행할 수 있는 강력한 노트북의 필요성이 대두되고 있다”고 설명한 바 있다. 

 

최근 빅테크 기업의 흐름처럼 온디바이스 AI의 수요는 꾸준히 증가할 것으로 보인다. 다만 온디바이스 기술은 내부에서 작동하기 때문에 이를 위해 대량의 데이터가 우선 확보돼야 한다는 선행 과제가 존재한다.

 

온디바이스 AI는 스마트폰, 노트북, 웨어러블 기기 등 각 디바이스의 특성에 맞는 개발 과정을 거쳐 플랫폼이 구성된다. 소프트웨어, 하드웨어가 가진 개별 환경을 고려해야 하는 점이 일부 기업에서는 걸림돌로 작용할 수 있다.

 

한편, AI 핵심 부품인 GPU 칩 제조사 엔비디아는 오는 18일(현지시간)부터 21일까지 나흘간 GTC(GPU Technology Conference)를 개최한다. 이번 행사는 팬데믹 이후 첫 대면 행사이자 AI 열풍 이후 엔비디아가 주도하는 컨퍼런스인 만큼 많은 이들이 관심이 모일 것으로 보인다.

 

해당 컨퍼런스는 메타, 마이크론, 오라클, 델, 인텔 같은 엔비디아의 주요 파트너사들도 참여하는 만큼 온디바이스 AI 분야의 인사이트 등이 공유될 전망이다.