비디오 표현 학습 장치 및 방법

초록

【요약】 (수정유) 【과제】비디오 표현 학습 장치 및 방법을 제공한다. 【해결 수단】비디오 표현 학습 장치 100은 비디오 데이터에서 비디오 특징을 추출해 비디오 임베딩을 생성하는 학생 네트워크, 비디오 데이터에서 추출된 이미지 특성을 추출해 이미지 임베딩을 생성하는 제1교사 네트워크 및 비디오 데이터에서 추출된 오디오 특성을 추출해 오디오 임베딩을 생성하는 제2교사 네트워크를 포함하는 특징 추출부, 제1, 제2구성 신경망을 포함하는 구성 임베딩 네트워크부, 이미지 및 오디오 임베딩 간의 관련 관계를 추정하기 위해 학습된 샴 신경망을 이용하여 양성, 음성 샘플을 생성하는 샘플 생성부 및 비디오 임베딩, 제1, 제2구성 임베딩, 양성 샘플 및 음성 샘플을 이용하여 학생 네트워크를 학습시키는 손실 함수를 생성하는 대조 학습부를 포함한다. 【선택도】도 1