안녕하세요 딥러닝 논문읽기 모임 입니다! 오늘 소개해 드릴 논문은 현재 많은 Image classification 분야에서 SOTA를 달성했던
Deep Learning/resources 2021. 1. 21. 07:44안녕하세요 딥러닝 논문읽기 모임 입니다!
오늘 소개해 드릴 논문은 현재 많은 Image classification 분야에서 SOTA를 달성했던 논문인 Sharpness-Aware Minimization for
Efficiently Improving Generalization 이라는 논문입니다.
오늘 논문 리뷰는 펀디멘탈팀의 이재윤님께서 진행해 주셨습니다.
발표자료 :https://www.slideshare.net/taeseonryu/sharpnessaware-minimization-for-efficiently-improving-generalization
발표된 논문 리스트 : https://github.com/Lilcob/-DL_PaperReadingMeeting
overparameterized 된 모델에서 training loss는 모델의 generalization 대한 보장을 하지 않고 있는게 현실 입니다.
실제로 일반적으로 수행되는 것처럼 training loss만 최적화하면 suboptimal 모델 quality로 이어집니다.
논문에서 소개하는 Sharpness-Aware Minimization (SAM)은 다양한 global minima 중에, 제너럴한 성능을 나타내는 글로벌 미니마를 찾아 성능향상에 기여를 하여 여러 태스크에서 기존의 모델링 방법에 SAM 방법론을 적용하여 다양한 분야에서 SOTA를 달성하였습니다.
https://youtu.be/iC3Y85W5tmM
