ImageNet Classification에서 State-of-the-art(SOTA)를 또! 갱신한 논문이 이틀전 공개가 되었습니다.
논문 제목: Self-training with Noisy Student improves ImageNet classification
[논문 링크: https://arxiv.org/pdf/1911.04252.pdf](https://arxiv.org/pdf/1911.04252.pdf)
ImageNet 데이터셋 기준 Top-1 Accuracy는 87.4%, Top-5 Accuracy는 무려 98.2%!! 를 달성하였는데요, 이제는 어디서든 쉽게 구할 수 있는 외부의 unlabeled 데이터셋을 잘 활용하기 위한 Self-training 기법을 이용하는 것이 핵심 아이디어입니다.
제가 전에 리뷰했던 논문인 EfficientNet (리뷰 글:https://hoya012.github.io/blog/EfficientNet-review/) 을 기반으로 연구를 하였고, 정말 간단한 방법이면서 성능도 좋아서 주목할만한 것 같습니다. 학습 디테일을 제외하면 첨부한 알고리즘 그림 하나만 이해하면 끝이 납니다.
또한 결과 분석에서 단순히 정확도만 보는게 아니라, 올해 공개된 Robustness 관련 논문들에서 제안한 데이터셋인 ImageNet-A, ImageNet-C, ImageNet-P 등 알고리즘의 Robustness를 측정하는데 사용되는 test set에 대해서도 SOTA를 달성한 것이 인상깊네요.
- ImageNet-A 관련 논문: Natural Adversarial Examples, 2019 arXiv (https://arxiv.org/abs/1907.07174)
- ImageNet-C, ImageNet-P 관련 논문: Benchmarking Neural Network Robustness to Common Corruptions and Perturbations, 2019 ICLR (https://arxiv.org/abs/1903.12261)
Classificatin 연구의 동향이 변화하는 과정도 재미가 있기도 하면서, 이제는 뭘 더 할수 있을지 궁금하기도 하네요 ㅎㅎ
- 2012~2016: AlexNet, VGG, googLeNet, ResNet, DenseNet, SENet 등 사람이 이런저런 시도를 하면서 그럴싸한 네트워크를 디자인하는 흐름
- 2016~2018: AutoML을 이용한 Neural Architecture Search(NAS)를 이용해서 최적의 구조를 찾고, 탐색에 필요한 시간을 획기적으로 줄이고 줄인 만큼 큰 구조를 만들어내는데 집중
- 2019 초중반: AutoML에서 찾은 구조를 기반으로 사람이 튜닝을 하며 성능 향상
- 2019 중후반: 수십억장의 web-scale extra labeled images를 이용해서 무수히 많은 데이터를 잘 활용하여 ResNeXt로도 SOTA를 달성
- 2019 말(지금): 수십억장의 이미지 대신 unlabeled images 3억장을 써서 Self-Training을 활용하여 SOTA 달성
- 2020: ????
https://www.facebook.com/groups/DataScienceGroup/permalink/2765440956851110/?sfnsn=mo
좋은 선생님이 무수히 많은 자료들 속에서 완전 정확하지는 않더라도 요점을 찝어주면(Pseudo Label 생성), 학생은 그걸 보면서 잘 정제된 자료로만 공부하는 친구보다 공부 난이도가 어렵지만 결과적으로 이길 수 있다? 정도로 요약할수있겠네요.
