Be the only one, not the best one

Visual localization 등에서,    

2017년만 해도 6D pose 를 CNN이 바로 regress 해주는게 신비로운 시절이 있었는데요,

하지만 DSAC 이라는게 나오면서 "learning less" 하는게 성능이 더 낫다라는걸 알게되고

understanding the limitations of cnn-based absolute camera pose regression

위 논문 에서는 이론적으로 direct pose regression 이 안좋을수밖에 없는 이유를 Sattler 가 설명했습니다.

이번 월요일에 ICCV localization tutorial 에서

DSAC저자인 Eric 님이 발표하신 자료가 올라왔길래 공유합니다 :)

사설이 길었네요 ㅋㅋ
https://www.facebook.com/groups/slamkr/permalink/1006108736415437/?sfnsn=mo

PR12 논문읽기 모임의 204번째 논문발표 입니다.

https://www.youtube.com/watch?v=YNicvevmByo&feature=youtu.be

ICLR2019 에서 발표된 "Learning deep representations by mutual information estimation and maximization" 이라는 논문을 발표하였습니다.

NLP 에서의 BERT 이외에도, self-supervised learning 을 통한 representation learning 연구가 다양한 도메인에서 이루어지고 있는데요, 많은 방법들은 InfoMax principle에 따라 "mutual information(의 lower bound)"을 neural network을 이요해서 추정하고 최대화하는 방식을 따르는 방식을 통해 representation learning을 수행하고 있습니다.

평소에 self-/semi- supervised learning 의 다양한 접근법들에 관심이 많았는데, 이 논문을 통해서 computer vision 외의 다른 분야에 self-supervised learning 을 적용해보려고 하고 있습니다.

이 논문 리뷰와 아래의 contrastive predictive coding 구현 코드가 다른 분들께도 도움이 되면 좋겠습니다!

* 아래의 github link 에 발표한 slide와 contrastive predictive coding (infoNCE loss) 를 구현하여 Libri speech dataset 에 대해서 semi-supervised learning 을 demonstration 해본 practice 가 있습니다.

https://github.com/SeongokRyu/mutual_information_and_self-supervised_learning

References

1. Paper: Learning deep representations by mutual information estimation and maximization, ICLR2019, https://arxiv.org/abs/1808.06670

2. Official Github: https://github.com/rdevon/DIM

3. Microsoft blog: https://www.microsoft.com/…/deep-infomax-learning-good-rep…/
https://www.facebook.com/groups/TensorFlowKR/permalink/1027352860939105/?sfnsn=mo

안녕하세요, 전 수아랩 현 코그넥스 에서 머신러닝 엔지니어로 일하고있는 이호성이라고합니다.

지난주 서울에서 열린 ICCV 2019 학회에 다녀온 후기와, Best Paper로 선정된 “SinGAN: Learning a Generative Model from a Single Natural Image” 논문을 자세하게 리뷰하여 글로 작성을 하여 공유드립니다.

1편

“ICCV 2019 Review [1] 참석 후기 및 프로그램 소개”

https://hoya012.github.io/blog/ICCV-2019_review_1/

2편

“ICCV 2019 Review [2] Best Paper SinGAN： Learning a Generative Model from a Single Natural Image 리뷰”

https://hoya012.github.io/blog/ICCV-2019_review_2/

처음 가봤던 ICCV 학회여서 어떤 프로그램들이 진행되었고, 어떤 점들이 인상깊었는지를 1편에서 정리를 하였고,

발표를 듣자마자 바로 리뷰를 해야겠다고 느꼈던 Best Paper 에 대한 자세한 리뷰를 2편에서 진행을 하였습니다.

공부하시는데 도움이 되셨으면 좋겠습니다!! 감사합니다!!
https://www.facebook.com/groups/PyTorchKR/permalink/1519149218224754/?sfnsn=mo