[더테크 이지영 기자]  서울대학교 공과대학은 컴퓨터공학부 김건희 교수팀이 말버릇, 추임새, 끼어들기 등 사람의 대화 행동을 인공지능(AI)이 이해하고 재현하는 음성 대화 생성 기술을 개발했다고 30일 밝혔다.

김 교수팀은 이번 연구에서 세계 최대 규모의 대화 행동 기반 음성 데이터셋인 ‘Behavior-SD’를 구축하고, 이를 바탕으로 자연스럽게 음성 대화를 나누는 AI 모델 ‘BeDLM’을 제안했다.

연구팀은 지난 4월 29일부터 5월 4일까지 미국 뉴멕시코주 앨버커키에서 열린 ‘NAACL 2025(북미 전산언어학회)’에서 해당 연구 논문을 구두 발표했다. 음성 처리 및 음성 언어 이해 분야에서 최고 논문상을 수상했다. NAACL은 컴퓨터가 인간의 언어를 이해, 생성할 수 있도록 해주는 AI의 한 분야인 자연어 처리(NLP) 관련 세계 최고 권위 학회 중 하나다.

김 교수팀은 실제 사람처럼 자연스러운 대화를 나누는 AI를 구현하려면 대화 행동의 반영이 반드시 이뤄져야 한다고 봤다.

이 문제의 해결에 나선 연구팀은 말버릇과 추임새, 끼어들기, 감정 표현 등 사람 개개인의 대화 행동을 정밀하게 반영한 음성 데이터셋과 대화 생성 기술을 함께 제시하는 성과를 거뒀다.

먼저 김 교수팀은 실제 대화 환경을 최대한 비슷하게 재현하기 위해 10만 개의 대화 패턴과 총 2000시간 분량의 음성 대화를 모아 ‘Behavior-SD’ 데이터셋을 구축했다. 이 대규모의 데이터는 사람 간의 자연스러운 대화를 정밀하게 구현하도록 설계됐다. 각 화자가 주고받는 단순한 문장에 더해 세밀하게 구분된 다양한 대화 행동을 주석 처리한 방식 덕분이다.

BeDLM은 향후 팟캐스트 콘텐츠 제작, 상담 AI, 개인 맞춤형 음성 비서 등 사람과 AI 간의 상호작용과 정서적 반응이 필요한 여러 분야에서 널리 활용될 것으로 예상된다. 나아가 이 기술은 앞으로 상담, 교육, 돌봄 서비스 등 다양한 영역에서 사람과 AI가 더욱 원활하게 소통할 수 있도록 돕는 데에도 이용될 전망이다. 아울러 이번 연구에서 개발된 Behavior-SD 데이터셋과 코드는 모두 오픈소스로 공개돼 국내외 연구자 누구나 자유롭게 활용할 수 있다. 따라서 관련 기술의 확산과 후속 연구 또한 촉진될 것으로 기대된다.

김건희 교수는 “대화하는 사람은 보통 말하는 중에도 귀를 열고 상대방의 음성적 반응과 시각적 반응에 적응하고 맞춰가며 대화를 이끄는데, 지금까지 개발된 AI 대화 생성 모델은 이를 반영하지 못했기 때문에 그 한계를 넘고자 했다”면서 “AI가 사람처럼 자연스럽게 대화하는 기술을 한 단계 더 발전시켰다는 점에서 금번 연구의 의미가 크다”고 밝혔다.