퍼지 추론과 뉴럴 네트워크를 이용한 색청 공감각의 모델링 및 스마트폰 앱 구현

초록

공감각이란 하나의 물리적 자극으로 두 가지 이상의 감각이 발현되는 현상을 말하며 많은 사람들이일상에서 공감각을 경험한다. 본 연구에서는 이러한 공감각들 중 소리를 들으면 색을 보는 색청 공감각(Colored-Hearing Synesthesia)의 모델링과 그 반대로 색에서 소리를 얻는 모델을 제안한다. 먼저 기존의 색청 연구 자료를 기반으로 퍼지 추론을 이용하여 음에서 색을 추론하는 색청 공감각 모델을 구현하였으며, 다음에 뉴럴 네트워크를 이용하여 다양한 악기의 음에 따른 색을 매핑한다. 마지막으로 제안된 모델을 이용하여 시각정보를 특정 악기의 음으로 손쉽게 변환할 수 있는 스마트폰 앱을 제작하였다. 이러한 색청 공감각의 모델링은 다양의 장르의 음악에서 시각정보를, 다양한 미술에서 청각정보를 보완해 줄 수 있으며, 시계열 정보인 음악을 한 장의 시각정보(그림)로 매핑할 수 있을 것으로 생각된다. 또한 본 연구의 결과는 향후 시각정보(풍경 또는 사진)의 입력으로 음악(작곡) 을, 음악을 입력으로 그림을 창조해 낼 수 있는 창의적인 인공지능 시스템을 만들어 낼 수 있을 것으로 기대된다.

키워드