Be the only one, not the best one

오늘 많은 분들이 공유해주신 @Sebastian Raschka 님의 80여개가 넘는 기본 뉴럴넷과 CNN, RNN, GNN들 멋진 모델을 보고 놀랐는데요. 딥러닝 입문에 너무 좋을듯 하여 여기 모델 구조와 tensor shape을 뿌려주는 hiddenlayer 모듈을 사용하여 그림을 추가 해보았습니다.

Fork한 https://github.com/DeepSE/deeplearning-models/ 에 *Colab with Model Graph* 라는 링크가 있으면 모델 그래프를 추가한 것입니다.

아래 첨부한 그림처럼 구조를 한눈에 볼수 있습니다.

일부만 추가 했는데 나머지는 천천히 생각날때 하나씩 해보도록 하겠습니다. PR을 주셔도 좋습니다.

대략 기본적인 모델은 그래프를 넣어 보았는데요. 아직 attention 관련 transformer 관련 모델은 없는데 이런 부분 원 repos https://github.com/rasbt/deeplearning-models 에 PR보내 주시면 좋아 하실듯 합니다.

안녕하세요, cognex deep learning lab의 이호성입니다.

PyTorch를 사용하여 실험 코드를 작성하고 돌려서 결과를 얻는데, 매번 같은 코드를 돌려도 다른 실험 결과가 나오는 것을 다들 경험해보셨을 텐데요,

아무리 random seed를 고정해도 학습 결과가 달라져서, 이 부분을 한번 파봤습니다. PyTorch의 공식 문서(https://pytorch.org/docs/stable/notes/randomness.html)와 PyTorch의 Issue를 기반으로 한번 CIFAR-10 ResNet에 대해 실험을 해보고, 이를 글로 작성하여 정리하였습니다.

블로그 글: https://hoya012.github.io/blog/reproducible_pytorch/
실험 코드(colab): https://colab.research.google.com/drive/1zoEgSwQ40uXBys83X7ajW2oInve91S4w?usp=sharing

저는 torch.manual_seed 와 numpy.random.seed 정도만 사용했었는데 고려해야할 것들이 더 많은 점에 놀랐습니다. ㅎㅎ 공부하시는데 도움이 되었으면 좋겠습니다. 감사합니다!