Self-Supervised 계열의 paper를 정리하려는 목적으로 만든 repository에 꾸준히 스타가 생기고 있어서 기분이 좋아 정리를

Self-Supervised 계열의 paper를 정리하려는 목적으로 만든 repository에 꾸준히 스타가 생기고 있어서 기분이 좋아 정리를 할 겸 그림을 그려보았습니다.

혹시나, Self-Supervised 계열의 방법론에 관심이 있으셨던 분들은 참고해주시면 좋을 듯 하네요.

확실히 최근들어서는 contrastive learning 계열의 방법들이 주를 이루며 달려가고 있는 것 같습니다.

+ 최근에는 negative sample에 대한 비판적인 시각과 함께 positive sample 만을 활용하는 방법론들이 각광받고 있는 것 같습니다. 또 6개월 후의 모습은 어떠할지 벌써 기대가 되는군요.

+ Dense 라고 표기해놓은 방법들은 pixel-level 로 contrastive learning을 접근하였습니다. 최근에 흥미가 많이 가는 분야입니다. 영상의 제일 기본적인 가정인 '인접 픽셀은 유사한 성격을 지닐 것이다.' 를 잘 살리지 않았나 하는 생각이 드네요.

+ 레포는 꾸준히 업데이트를 하려고 노력하고 있습니다.

+ GPU로 몰아붙이는 학습의 새로운 매커니즘이 생길까봐 무섭지만, 늘 그렇듯 어디선가에서는 효율적인 학습의 패러다임을 제시하는 방법이 등장할 것이라 믿습니다 (SimCLR --> MoCO, ViT-->DeiT). 언뜻보니 구글과 페이스북의 구도인가요..? ㅎㅎ

레포 : https://github.com/Sungman-Cho/Awesome-Self-Supervised-Papers