애니메이션 립싱크 자동화 장치 및 방법

초록

애니메이션 립싱크 자동화 장치 및 방법이 개시된다. 음성 입력부로 애니메이션 영상의 대본에 대응하고 상기 애니메이션 영상을 구성하는 프레임에 동기가 맞춰진 음성 파일이 입력된다. 음성 인식부는 음성 파일로부터 각각의 어소를 구성하는 자음, 모음 및 소리의 높낮이를 파악하여 음성 인식 결과를 출력한다. 입모양 선택부는 음성 인식 결과를 기초로 각 어소에 대응하는 발음 분류를 결정하고, 결정된 발음 분류에 대응하는 입모양을 한국어의 발음특성을 고려한 일정 개수의 입모양이 발음 분류에 대응되어 저장되는 입모양 저장부에서 선택한다. 그리고 입모양 선택부는, 묵음 구간의 입모양으로 양입술이 붙어있는 제1입모양을 선택하고, 음성이 시작되기 제1개수의 프레임 전에 양입술이 제1크기만큼 떨어져 있는 제2입모양을 선택하고, 음성이 시작되는 시점부터 각 어소에 대해 결정된 발음 분류에 대응하는 입모양을 선택하고, 음성이 종료된 시점부터 제2개수의 프레임동안 최종적인 입모양을 유지한 이후에 다음 음성이 시작될 때까지의 입모양으로 제1입모양을 선택한다. 본 발명에 따르면, 한국어의 발음 구조와 애니메이션의 제작 특성을 정확하게 반영하여 애니메이션 캐릭터의 입모양을 성우의 발음과 완벽하게 일치시킬 수 있고, 실시간으로 애니메이션 캐릭터의 립싱크를 자동으로 구현할 수 있다.