[더테크=전수연 기자] 데이터 플랫폼 전문기업 몽고DB(MonggoDB)가 문서 모델 유연성, 사용 편의성을 제공하고 쿼리 API를 지원하는 솔루션을 새롭게 공개했다.

몽고DB는 아틀라스 스트림 프로세싱(Atlas Stream Processing)의 퍼블릭 프리뷰 버전을 공개했다고 19일 밝혔다.

아틀라스 스트림 프로세싱은 빠르게 변화하는 이벤트 데이터의 스트림을 집계, 보강하고 전송 중이거나 유휴 상태의 데이터 작업 방식을 통합한다. 

이에 몽고DB는 개발자가 아틀라스 데이터베이스에서 변경 스트림을 통해 데이터를 지속 처리할 뿐 아니라 컨플루언트 클라우드(Confluent Cloud), 아마존 MSK(Amazon MSK), 애저 이벤트 허브(Azure Event Hubs), 레드판다(Redpanda)를 비롯한 파트너 서비스에서 호스팅 되는 카프카(Kafka) 데이터를 처리하는 데 아틀라스 스트림 프로세싱을 지원한다.

이번 퍼블릭 프리뷰 버전의 주요 기능 중 개발자 환경 개선 차원에서 몽고DB는 VS 코드 플러그인에 스트림 프로세싱 인스턴스 연결을 지원하고 VS 코드를 통합했다. 이를 통해 개발자는 익숙한 개발 환경에서 프로세서를 생성, 관리해 도구 간 전환 시간을 줄이고 애플리케이션 구축에 집중할 수 있다.

또한 DLQ 기능은 스트림 처리를 위한 핵심 요소로 sp.process()의 파이프라인을 실행하거나 구동 중인 프로세서에서 .sample()을 실행할 때 DLQ 메시지를 표시한다. 이는 DLQ를 위한 타깃 컬렉션을 별도로 설정할 필요 없이 개발 환경 구축을 돕는다.

개발자는 $lookup을 통해 원격 아틀라스 클러스터 데이터로 스트림 프로세서에서 처리 중인 문서를 보강해 문서, 타깃 컬렉션 필드 조인을 수행할 수 있다. 변경 스트림 $source 역시 사전, 사후 이미지를 지원해 문서 내에서 필드 간 델타 값을 계산하는 것뿐만 아니라 삭제된 문서의 전체 내용에도 접근할 수 있다.

이와 함께 병합, 내보내기 단계에서 동적 표현식을 사용한 조건부 리우팅을 구현해 처리 중인 문서의 필드 값을 사용하고 특정 메시지를 다른 아틀라스 컬렉션, 카프카 토픽으로 전송할 수 있다.

유휴 스트림 타임 아웃 기능도 제공돼 인바운드 데이터 부족으로 인한 상위 워터마크가 없이 진행되는 스트림은 일정 시간 후 윈도우 결과를 내보낸 후 닫히도록 구성될 수 있다.

운영, 보안 개선을 위한 신규 기능에는 우선 지속 프로세스를 실행하는 스트림 프로세스에서 문제, 장애가 발생할 경우 복구 매커니즘이 필요하다는 분석이 나왔다. 이에 아틀라스 스트림 프로세싱은 데이터 처리 중 상태 저장을 위한 체크포인트를 지원해 데이터 수집, 처리가 중단된 지점부터 스트림 프로세서를 쉽게 재가동할 수 있도록 지원한다.

또한 스트림 프로세싱 인증 기능을 통해 SPI 내 인증 시도, 작업을 감시하고 보안 관련 이벤트에 대한 인사이트를 제공하며 오프셋(offset) 추적을 위해 카프카 소비자 그룹을 사용한다.