적응적 가중치 감쇠를 이용한 딥 러닝 방법

초록

본 발명의 일 실시예에 따른 적응적 가중치 감쇠를 이용한 딥러닝 방법은 복수의 레이어로 구성되는 학습 모델에 대한 훈련 데이터 세트로부터 적어도 하나의 미니 배치를 선택하는 단계, 미니 배치에 대해 학습 모델의 예측 출력과 실제 출력 간의 잔차에 대응하는 데이터 정확도 항 및 가중치 감쇠 계수를 갖는 정규화 항을 포함하는 목적 함수를 산출하는 단계, 복수의 레이어 별 잔차에 기초하여 가중치 감쇠 계수에 학습 모델 파라미터 별 정규화 정도를 결정하는 패널티를 부과하는 단계, 및 목적 함수의 기울기를 연산하여 학습 모델 파라미터를 업데이트 하는 단계를 포함한다.