안녕하세요. 모두연 여러분. 얼마전에 열렸던 AI Grand Challenge 4차 대회의 경량화 트랙에서 사용했던 구현체를 공개합니다 (최종

안녕하세요. 모두연 여러분.
얼마전에 열렸던 AI Grand Challenge 4차 대회의 경량화 트랙에서 사용했던 구현체를 공개합니다 (최종결과 우승, 팀 제이마플).
https://github.com/j-marple-dev/model_compression
저장소의 내용은 크게 Pruning / Knowledge Distillation / Quantization으로 구성되어 있으며, 그 외에도 경량화 단계에서 성능을 유지하는데 도움이 되는 학습방법들이 포함되어 었습니다.
더불어 초심자 단계에서부터 대회 참가까지 2달여 간의 준비과정 및 참고자료를 슬라이드로 제작해 보았습니다. 부디 누군가에게 도움이 된다면 좋겠습니다.
https://www.slideshare.net/KimJunghoon5/2020-dld-238284732
참고로 위 슬라이드의 내용은 AI:Festival(http://aifestival.hellodd.com/) 발표로도 소개될 예정입니다 (9월 2일). 추후 발표영상도 공유드리도록 하겠습니다.
------------------------------------------------------
내용
Network Architecture
MixNet
Fast DenseNet
Augmentation
AutoAugment
RandAugment
CutMix
CutOut
Loss
Cross Entropy Loss + Label Smoothing
Hinton Loss
LR Scheduler
Cosine Annealing + Initial Warmup
Unstructured Pruning
Lottery Ticket Hypothesis
Weight Rewinding
Learning Rate Rewinding
Structured Pruning
Magnitude Pruning
Network Slimming
Magnitude Pruning + Slimming
Channel-Wise Pruned Model Shrinker (Experimental)
Quantization
Post Training Quantization
Quantization Aware Training