Visual Object Tracking에서 계층별 집계를 통한 더 정확한 객체 추적 (SiamMask++)

초록

본 발명은 계층별 집계를 통한 정확한 개체 시각적 추적 및 개체 추적의 집계 시스템에 관한 것으로, 시암마스크 방법을 제안하고 시각 객체 추적(Visual Object Tracking, VOT) 챌린지에 대한 대표적인 성능 평가 척도인 기대평균중첩(Expected Average Overlap)을 개선하기 위한 Multi-RPN모듈, Multi-MASK모듈 및 계층별 집계 모듈을 도입한 기술로, 슬라이딩 윈도우 방식으로 비디오상의 대상 객체와 여러 후보 지역 사이의 유사성 측정을 CNN 네트워크 학습하는 학습부; 학습된 CNN 네트워크의 레이어들 중의 어느 하나 이상의 레이어를 추출하여, 레이어에 포함된 영상정보를 RPN(Region Proposal Network)를 기반으로 경계 상자 회귀(Bounding box regression) 분석하는 RPN모듈부; 레이어에 포함된 영상정보를 분할(segmentation)하기 위한 마스크(binary segmentation) 작업하는 Mask모듈부; RPM모듈부 및 Mask모듈부로부터 도출된 각 출력값들을 가중합하여 계층적인 집계(layer wise aggregation)을 검출하는 계층 집계검출부;를 포함한다.