첨단영상대학원, Interspeech 2026 논문 3편 발표… 음성합성·음성변환·발화 움직임 예측 연구 성과
우리 대학 첨단영상대학원 김지훈 교수와 김학구 교수 연구진이 음성·언어 기술 분야의 세계적인 국제학술대회 Interspeech 2026에서 총 3편의 논문을 발표한다. 이번 연구들은 자연스러운 음성변환과 효율적인 음성합성, 음성으로부터 발화기관의 움직임을 예측하는 기술을 다루며 첨단영상대학원의 음성·멀티모달 AI 연구 역량을 보여준다.
Interspeech는 국제음성커뮤니케이션학회(International Speech Communication Association, ISCA)가 주관하는 대표 학술대회로, 음성 과학과 음성·언어 기술을 포괄하는 세계 최대 규모의 국제학술행사다. Interspeech 2026은 2026년 9월 27일부터 10월 1일까지 호주 시드니에서 개최될 예정이다.
김지훈 교수가 참여한 ProsoCodec: Prosody-Oriented Speech Codec for Voice Conversion은 음성의 내용과 억양을 유지하면서 화자의 목소리 특성만 자연스럽게 변환하는 음성 코덱을 제안했다. 기존 방식에서 발생하던 원래 화자의 음색 누출을 줄이고, 변환 대상 화자의 음색과 원음의 운율을 함께 보존하는 성능을 입증했다.
김지훈 교수가 교신저자로 참여한 MamTra: A Hybrid Mamba-Transformer Backbone for Speech Synthesis는 Mamba와 Transformer의 장점을 결합한 효율적인 음성합성 구조를 제시했다. 생성 음질을 유지하면서 추론 과정의 GPU 메모리 사용량을 최대 34% 절감해 장문 음성합성과 제한된 연산 환경에서의 활용 가능성을 높였다.
김학구 교수가 교신저자로 참여한 ArtBoost: Synthetic Articulatory Data Augmentation for Acoustic-to-Articulatory Inversion은 음성으로부터 입술과 턱 등 발화기관의 움직임을 예측하는 기술의 데이터 부족 문제를 해결했다. 대규모 3D 얼굴 애니메이션 데이터에서 발화 움직임 정보를 추출해 학습에 활용함으로써, 제한된 센서 데이터만으로도 예측 정확도를 안정적으로 향상시켰다.
이창재 첨단영상대학원 원장은 “Interspeech는 음성·언어 기술 분야를 대표하는 국제학술대회로, 이번 성과는 첨단영상대학원의 음성 AI와 멀티모달 콘텐츠 연구 역량을 보여주는 의미 있는 결과”라며 “앞으로도 예술과 공학을 융합한 연구와 글로벌 경쟁력을 갖춘 인재 양성을 적극적으로 지원하겠다”고 밝혔다.
첨단영상대학원은 이번 Interspeech 2026 성과를 계기로 음성합성, 음성변환, 발화 움직임 분석과 3D 애니메이션을 연결하는 연구를 더욱 확대하고, 음성 AI와 디지털 콘텐츠 산업의 발전에 기여할 계획이다.
Interspeech는 국제음성커뮤니케이션학회(International Speech Communication Association, ISCA)가 주관하는 대표 학술대회로, 음성 과학과 음성·언어 기술을 포괄하는 세계 최대 규모의 국제학술행사다. Interspeech 2026은 2026년 9월 27일부터 10월 1일까지 호주 시드니에서 개최될 예정이다.
김지훈 교수가 참여한 ProsoCodec: Prosody-Oriented Speech Codec for Voice Conversion은 음성의 내용과 억양을 유지하면서 화자의 목소리 특성만 자연스럽게 변환하는 음성 코덱을 제안했다. 기존 방식에서 발생하던 원래 화자의 음색 누출을 줄이고, 변환 대상 화자의 음색과 원음의 운율을 함께 보존하는 성능을 입증했다.
김지훈 교수가 교신저자로 참여한 MamTra: A Hybrid Mamba-Transformer Backbone for Speech Synthesis는 Mamba와 Transformer의 장점을 결합한 효율적인 음성합성 구조를 제시했다. 생성 음질을 유지하면서 추론 과정의 GPU 메모리 사용량을 최대 34% 절감해 장문 음성합성과 제한된 연산 환경에서의 활용 가능성을 높였다.
김학구 교수가 교신저자로 참여한 ArtBoost: Synthetic Articulatory Data Augmentation for Acoustic-to-Articulatory Inversion은 음성으로부터 입술과 턱 등 발화기관의 움직임을 예측하는 기술의 데이터 부족 문제를 해결했다. 대규모 3D 얼굴 애니메이션 데이터에서 발화 움직임 정보를 추출해 학습에 활용함으로써, 제한된 센서 데이터만으로도 예측 정확도를 안정적으로 향상시켰다.
이창재 첨단영상대학원 원장은 “Interspeech는 음성·언어 기술 분야를 대표하는 국제학술대회로, 이번 성과는 첨단영상대학원의 음성 AI와 멀티모달 콘텐츠 연구 역량을 보여주는 의미 있는 결과”라며 “앞으로도 예술과 공학을 융합한 연구와 글로벌 경쟁력을 갖춘 인재 양성을 적극적으로 지원하겠다”고 밝혔다.
첨단영상대학원은 이번 Interspeech 2026 성과를 계기로 음성합성, 음성변환, 발화 움직임 분석과 3D 애니메이션을 연결하는 연구를 더욱 확대하고, 음성 AI와 디지털 콘텐츠 산업의 발전에 기여할 계획이다.