‘유해 콘텐츠 점수 표시’…MS, 애저 AI 콘텐츠 세이프티 출시

유해한 콘텐츠 감지해 심각성 점수 부여, 서비스 운용 편의 도모
사용자에 맞춰 세분화된 기준 설정 가능, 정책 준수 여부도 확인

 

[더테크=조재호 기자] 마이크로소프트(이하 MS)가 18일 애저 AI 콘텐츠 세이프티(Azure AI Content Safety)를 정식 출시하고 안전한 온라인 환경과 콘텐츠를 만드는 ‘책임 있는 AI’ 생태계 확장에 나선다.

 

MS의 클라우드 서비스인 애저 AI 플랫폼에서 제공되는 ‘애저 AI 콘텐츠 세이프티’는 고급 언어와 비전 모델을 사용해 폭력이나 증오 등 잠재적으로 유해한 콘텐츠를 감지하고 이를 심각성 점수로 표시한다. 이를 통해 기업과 조직은 내부 정책에 근거해 유해 콘텐츠를 차단하거나 표시하는 등의 서비스를 제공할 수 있다.

 

애저 AI 콘텐츠 세이브티는 지난 5월 MS의 연례 개발자 컨퍼런스인 ‘마이크로소프트 빌드(Microsoft Build 2023)’를 통해 소개된 바 있다. 이번에 공식 출시되는 서비스는 독립적인 실행이 가능한 시스템으로 오픈 소스모델과 여타 모델에서 생성된 AI 콘텐츠에도 적용할 수 있다.

 

에릭 보이드(Eric Boyd) 마이크로소프트 AI 플랫폼 기업 담당(부사장은)은 “많은 기업이 생성형 AI의 가치와 역량을 경험하기 시작했다”며 “MS는 애저 AI 콘텐츠 세이프티를 통해 다양한 비즈니스 요구를 충족하고 고객들에게 보다 안전한 생성형 AI 환경을 지원할 수 있을 것으로 기대한다”고 밝혔다.

 

애저 AI 콘텐츠 세이프티는 고객의 사용 목적과 사례에 맞춰 세분화된 검수 기능을 지원한다. 예를 들어 게임에 중점을 둔 플랫폼이 교육용 콘텐츠를 제작할 경우 폭력성과 유해성에 대해 언어 표현 수준을 다르게 설정할 수 있다는 것이다.

 

일련의 과정에서 애저 AI 콘텐츠 세이프티는 부적절하거나 유해한 콘텐츠를 제한하고 온라인 공개 이전에 관련 정책을 준수했는지 확인할 수 있다. 

 

아울러 생성형 AI와 관련한 잠재적인 위협 증가에 대응하는 방안도 마련한다. MS는 고객의 피드백을 반영해 기술 고도화에 주력하고 있다. 특히 멀티모달 모델(MultiModal Model, 텍스트를 비롯해 시각·청각 등 다양한 인터페이스) 관련 연구를 통해 불쾌감을 유발할 수 있는 이미지, 텍스트 등 창작물 감지 기능도 강화할 예정이다.

 

그 일환으로 애저 AI 세이프티에 탑재된 언어 모델(Language Models)은 문장의 문맥과 의미에 대한 이해를 바탕으로 다국어 텍스트를 분석하며, 비전 모델(Vision Models)은 최첨단 플로렌스 기술을 통해 이미지를 분석해 잠재적으로 부적절하거나 유해한 창작물을 감지한다.

 

한편, MS는 지난 2017년부터 ‘책임 있는 AI’ 여정을 이어왔다. 보안이 유지되는 안전한 환경에서 AI를 설계·개발·배포를 지원하는 강력한 프로세스 거버넌스를 구현하고 있다. 이번에 공개한 애저 AI 콘텐츠 세이프티도 ‘책임 있는 AI 기술 개발’을 핵심 원칙으로 삼고 있는 실행 기술이다.


관련기사

19건의 관련기사 더보기

배너