중국 쑤저우에서 열린 'EMNLP 2025' 학회에 참석한 이스트소프트 연구진. 회사 제공
인공지능(AI) 서비스 기업 이스트소프트의 자사 AI 자동 더빙 기술 연구가 세계적인 AI·자연어 처리 학회 'EMNLP 2025'에 채택됐다.

EMNLP는 글로벌 AI 연구자들이 참여하는 세계 최고 권위의 자연어 처리(NLP) 학회다. 이스트소프트는 학회가 열린 중국 쑤저우에서 '거대언어모델(LLM)을 활용한 종단 간 다국어 자동 더빙 프레임워크' 연구결과를 발표했다.

연구 핵심은 영상 원본에서 화자 발화 시간과 일치하는 더빙 영상을 생성하는 프레임워크다. 기존 자동 더빙 시스템이 원본의 음성과 번역된 음성의 길이가 맞지 않아 부자연스러운 영상을 생성한 한계를 극복했다.

프레임워크 구조는 음성인식(STT), NMT(Neural Machine Translation), 음성합성(TTS) 세 가지 모듈로 구성됐다. 연구진은 NMT 모듈에 '발화 길이 조정 번역(DT)'과 '발화 정지 정보 통합(PI)' 개념을 도입했다.

LLM 기반 DT는 원본 음성의 지속 시간을 기반으로 번역에 필요한 최적의 음소 수를 동적으로 예측해 번역의 길이를 제어할 수 있는 환경을 제공한다. PI는 음성에 포함된 묵음까지 반영해 원본과 동기화를 향상한다. 원본의 발화 속도와 리듬을 자연스럽게 유지하며 더빙 영상을 생성할 수 있다.

이스트소프트 연구진이 제안한 방식은 상용화된 기존 AI 더빙 시스템 대비 영상·음성 싱크 정확도는 24%, 다국어 청취 만족도는 12% 향상한 것으로 나타났다. 시간 동기화 문제를 효과적으로 해결하고 다국어 더빙의 확장성과 산업 내 적용 가능성을 높였다며 논문 리뷰에서도 높은 평가를 받았다.

정상원 이스트소프트 대표는 “페르소 AI는 실제 서비스에서 확인된 문제를 해결해 가며 AI 더빙 기술을 고도화해 왔다”면서 “앞으로도 세계 최고 권위의 AI 학회에서 인정 받은 기술 경쟁력으로 글로벌 AI 더빙 시장을 이끌어 갈 것”이라고 말했다.