이민혁 교수 연구실, '세계 최고 AI 학술대회' CVPR 2026에서 논문 3편 채택
전자전기공학부 이민혁 교수가 이끄는 생성적인공지능연구실(Generative AI Research Lab)이 '세계 최고 권위의 인공지능 및 컴퓨터 비전' 학회인 CVPR 2026(IEEE/CVF Conference on Computer Vision and Pattern Recognition)에서 총 3편의 논문을 발표하는 쾌거를 이루었다. 이 중 2편은 가장 경쟁이 치열한 메인트랙(Main Track)에, 1편은 Findings Workshop에 각각 채택되었다.
CVPR은 컴퓨터 비전과 인공지능 분야에서 세계 최정상급으로 평가받는 학회로, 매년 수천 편의 논문이 투고되지만 채택률이 약 20% 안팎에 불과할 만큼 엄격한 심사 과정을 거치는 것으로 알려져 있다. 한 연구실에서 동시에 3편의 논문이 채택된 것은 연구의 깊이와 폭 모두에서 세계적 수준의 경쟁력을 인정받은 것으로 평가된다.
첫 번째 메인트랙 논문 "Consensus vs. Controversy: Mapping the Decision Space Where Architectures Diverge"는 서로 다른 구조를 가진 AI 모델들이 "어떤 사진에서 의견이 갈리는가"를 체계적으로 분석한 연구다.
우리가 시험을 볼 때, 어떤 문제는 모든 학생이 맞히고, 어떤 문제는 모두가 틀린다. 하지만 정말 흥미로운 문제는 '누군가는 맞히고 누군가는 틀리는' 문제다. 이 연구는 AI 세계에서 바로 그런 문제를 찾아낸 것이다. CNN, Vision Transformer, MLP-Mixer라는 세 가지 다른 방식으로 설계된 AI 모델 12개를 동시에 테스트했더니, 전체 사진의 약 10%에 해당하는 소수의 '논쟁적 사진'에서 모델 간 의견 차이가 4.5배나 높게 나타났다. 같은 가족(예: CNN끼리)은 비슷한 답을 내는 반면, 다른 가족 간에는 체계적으로 다른 판단을 내렸다. 이 연구는 나아가 여러 모델을 함께 쓸 때 계산량을 90% 줄이면서도 83.7%의 정확도를 유지하는 효율적인 방법도 제시했다.
두 번째 메인트랙 논문 "When Do Models Actually Decide? Mapping the Layer-Wise Decision Timeline in Pretrained Neural Networks"는 AI 모델이 사진을 분류할 때 "몇 번째 층에서 답을 정하는가"를 추적한 연구다.
ResNet이라는 대표적인 AI 모델은 수십 개의 층(layer)을 차례로 통과하며 이미지를 분석한다. 마치 여러 단계의 체를 거치며 답을 찾아가는 과정이라고 할 수 있다. 이 연구는 각 층마다 "지금 이 AI는 답을 뭐라고 생각하고 있을까"를 들여다봤다. 그 결과, 소방차처럼 뚜렷한 사진은 초반 층에서 이미 답이 정해지는 반면, 헷갈리는 사진은 마지막 층까지 가야 답이 나왔다. 흥미롭게도 이미지의 약 39%는 네트워크 앞쪽 1/3 지점에서 이미 답을 정했고, 약 42%는 70% 이상 깊이까지 처리해야 했다.
또한 진짜 의미 있는 판단 능력은 마지막 몇 개 층에서 15배 가까이 급격히 향상되는 '상전이(phase transition)' 현상이 관찰되어, 초반 층은 단순한 특징을 쌓는 '준비 단계'이고 실질적인 '사고'는 후반부에 집중된다는 사실을 밝혀냈다.
Findings Workshop에 채택된 "Beyond Top-1: Forensic Analysis of Full Prediction Distributions Reveals Hidden Model Reasoning"은 AI의 '1등 답'만 보는 기존 관행에 의문을 제기한 연구다.
Findings Workshop은 메인트랙과 동일한 수준의 학술적 심사를 거치되, 학회의 물리적 발표 용량 등의 제약으로 메인트랙에는 포함되지 못한 우수 논문들이 선정되는 트랙이다. 메인트랙 논문과 마찬가지로 정식 학술 출판물로 인정되며, 연구의 새로움과 잠재적 가치를 높이 평가받은 결과다.
이 논문은 다음과 같은 내용을 담고 있다. AI가 어떤 사진을 보고 "이것은 허스키(개 품종)입니다"라고 85% 확신한다고 하자. 기존에는 이 '1등 답'과 확신 점수만 봤다. 하지만 나머지 999개 후보에 대해 AI가 어떻게 점수를 매겼는지를 함께 보면, AI가 실제로 어떤 '사고 과정'을 거쳤는지 훨씬 풍부한 정보를 얻을 수 있다.
연구팀은 10개의 서로 다른 AI 모델의 전체 확률 분포를 분석하여, CNN 계열은 한 가지 답에 확신을 집중하는 반면 Transformer 계열은 여러 가능성을 열어두는 경향이 있음을 발견했다. 이를 바탕으로 별도 학습 없이도 AI 예측의 신뢰도를 판단할 수 있는 'Distribution Diagnostic Score(DDS)'라는 지표를 제안했다.
이번에 채택된 세 편의 논문은 모두 "AI 모델이 어떻게, 언제, 왜 그런 판단을 내리는가"라는 근본적 질문을 다루고 있다는 공통점이 있다. 단순히 정확도를 높이는 데 집중하는 기존 연구와 달리, AI의 의사결정 과정 자체를 분석하여 모델 설계와 배포에 실질적으로 도움이 되는 통찰을 제공한다는 점에서 학계의 주목을 받고 있다.
CVPR은 컴퓨터 비전과 인공지능 분야에서 세계 최정상급으로 평가받는 학회로, 매년 수천 편의 논문이 투고되지만 채택률이 약 20% 안팎에 불과할 만큼 엄격한 심사 과정을 거치는 것으로 알려져 있다. 한 연구실에서 동시에 3편의 논문이 채택된 것은 연구의 깊이와 폭 모두에서 세계적 수준의 경쟁력을 인정받은 것으로 평가된다.
첫 번째 메인트랙 논문 "Consensus vs. Controversy: Mapping the Decision Space Where Architectures Diverge"는 서로 다른 구조를 가진 AI 모델들이 "어떤 사진에서 의견이 갈리는가"를 체계적으로 분석한 연구다.
우리가 시험을 볼 때, 어떤 문제는 모든 학생이 맞히고, 어떤 문제는 모두가 틀린다. 하지만 정말 흥미로운 문제는 '누군가는 맞히고 누군가는 틀리는' 문제다. 이 연구는 AI 세계에서 바로 그런 문제를 찾아낸 것이다. CNN, Vision Transformer, MLP-Mixer라는 세 가지 다른 방식으로 설계된 AI 모델 12개를 동시에 테스트했더니, 전체 사진의 약 10%에 해당하는 소수의 '논쟁적 사진'에서 모델 간 의견 차이가 4.5배나 높게 나타났다. 같은 가족(예: CNN끼리)은 비슷한 답을 내는 반면, 다른 가족 간에는 체계적으로 다른 판단을 내렸다. 이 연구는 나아가 여러 모델을 함께 쓸 때 계산량을 90% 줄이면서도 83.7%의 정확도를 유지하는 효율적인 방법도 제시했다.
두 번째 메인트랙 논문 "When Do Models Actually Decide? Mapping the Layer-Wise Decision Timeline in Pretrained Neural Networks"는 AI 모델이 사진을 분류할 때 "몇 번째 층에서 답을 정하는가"를 추적한 연구다.
ResNet이라는 대표적인 AI 모델은 수십 개의 층(layer)을 차례로 통과하며 이미지를 분석한다. 마치 여러 단계의 체를 거치며 답을 찾아가는 과정이라고 할 수 있다. 이 연구는 각 층마다 "지금 이 AI는 답을 뭐라고 생각하고 있을까"를 들여다봤다. 그 결과, 소방차처럼 뚜렷한 사진은 초반 층에서 이미 답이 정해지는 반면, 헷갈리는 사진은 마지막 층까지 가야 답이 나왔다. 흥미롭게도 이미지의 약 39%는 네트워크 앞쪽 1/3 지점에서 이미 답을 정했고, 약 42%는 70% 이상 깊이까지 처리해야 했다.
또한 진짜 의미 있는 판단 능력은 마지막 몇 개 층에서 15배 가까이 급격히 향상되는 '상전이(phase transition)' 현상이 관찰되어, 초반 층은 단순한 특징을 쌓는 '준비 단계'이고 실질적인 '사고'는 후반부에 집중된다는 사실을 밝혀냈다.
Findings Workshop에 채택된 "Beyond Top-1: Forensic Analysis of Full Prediction Distributions Reveals Hidden Model Reasoning"은 AI의 '1등 답'만 보는 기존 관행에 의문을 제기한 연구다.
Findings Workshop은 메인트랙과 동일한 수준의 학술적 심사를 거치되, 학회의 물리적 발표 용량 등의 제약으로 메인트랙에는 포함되지 못한 우수 논문들이 선정되는 트랙이다. 메인트랙 논문과 마찬가지로 정식 학술 출판물로 인정되며, 연구의 새로움과 잠재적 가치를 높이 평가받은 결과다.
이 논문은 다음과 같은 내용을 담고 있다. AI가 어떤 사진을 보고 "이것은 허스키(개 품종)입니다"라고 85% 확신한다고 하자. 기존에는 이 '1등 답'과 확신 점수만 봤다. 하지만 나머지 999개 후보에 대해 AI가 어떻게 점수를 매겼는지를 함께 보면, AI가 실제로 어떤 '사고 과정'을 거쳤는지 훨씬 풍부한 정보를 얻을 수 있다.
연구팀은 10개의 서로 다른 AI 모델의 전체 확률 분포를 분석하여, CNN 계열은 한 가지 답에 확신을 집중하는 반면 Transformer 계열은 여러 가능성을 열어두는 경향이 있음을 발견했다. 이를 바탕으로 별도 학습 없이도 AI 예측의 신뢰도를 판단할 수 있는 'Distribution Diagnostic Score(DDS)'라는 지표를 제안했다.
이번에 채택된 세 편의 논문은 모두 "AI 모델이 어떻게, 언제, 왜 그런 판단을 내리는가"라는 근본적 질문을 다루고 있다는 공통점이 있다. 단순히 정확도를 높이는 데 집중하는 기존 연구와 달리, AI의 의사결정 과정 자체를 분석하여 모델 설계와 배포에 실질적으로 도움이 되는 통찰을 제공한다는 점에서 학계의 주목을 받고 있다.