PR12 논문읽기 모임의 204번째 논문발표 입니다. https://www.youtube.com/watch?v=YNicvevmByo&feature=youtu.be ICLR2019 에서 발표된 "Learning deep representations by mutual information estimation and maximization" 이라는 논문을 ..
Deep Learning/Papers2read 2019. 11. 4. 12:13PR12 논문읽기 모임의 204번째 논문발표 입니다.
https://www.youtube.com/watch?v=YNicvevmByo&feature=youtu.be
ICLR2019 에서 발표된 "Learning deep representations by mutual information estimation and maximization" 이라는 논문을 발표하였습니다.
NLP 에서의 BERT 이외에도, self-supervised learning 을 통한 representation learning 연구가 다양한 도메인에서 이루어지고 있는데요, 많은 방법들은 InfoMax principle에 따라 "mutual information(의 lower bound)"을 neural network을 이요해서 추정하고 최대화하는 방식을 따르는 방식을 통해 representation learning을 수행하고 있습니다.
평소에 self-/semi- supervised learning 의 다양한 접근법들에 관심이 많았는데, 이 논문을 통해서 computer vision 외의 다른 분야에 self-supervised learning 을 적용해보려고 하고 있습니다.
이 논문 리뷰와 아래의 contrastive predictive coding 구현 코드가 다른 분들께도 도움이 되면 좋겠습니다!
* 아래의 github link 에 발표한 slide와 contrastive predictive coding (infoNCE loss) 를 구현하여 Libri speech dataset 에 대해서 semi-supervised learning 을 demonstration 해본 practice 가 있습니다.
https://github.com/SeongokRyu/mutual_information_and_self-supervised_learning
References
1. Paper: Learning deep representations by mutual information estimation and maximization, ICLR2019, https://arxiv.org/abs/1808.06670
2. Official Github: https://github.com/rdevon/DIM
3. Microsoft blog: https://www.microsoft.com/…/deep-infomax-learning-good-rep…/
https://www.facebook.com/groups/TensorFlowKR/permalink/1027352860939105/?sfnsn=mo
https://www.youtube.com/watch?v=YNicvevmByo&feature=youtu.be
ICLR2019 에서 발표된 "Learning deep representations by mutual information estimation and maximization" 이라는 논문을 발표하였습니다.
NLP 에서의 BERT 이외에도, self-supervised learning 을 통한 representation learning 연구가 다양한 도메인에서 이루어지고 있는데요, 많은 방법들은 InfoMax principle에 따라 "mutual information(의 lower bound)"을 neural network을 이요해서 추정하고 최대화하는 방식을 따르는 방식을 통해 representation learning을 수행하고 있습니다.
평소에 self-/semi- supervised learning 의 다양한 접근법들에 관심이 많았는데, 이 논문을 통해서 computer vision 외의 다른 분야에 self-supervised learning 을 적용해보려고 하고 있습니다.
이 논문 리뷰와 아래의 contrastive predictive coding 구현 코드가 다른 분들께도 도움이 되면 좋겠습니다!
* 아래의 github link 에 발표한 slide와 contrastive predictive coding (infoNCE loss) 를 구현하여 Libri speech dataset 에 대해서 semi-supervised learning 을 demonstration 해본 practice 가 있습니다.
https://github.com/SeongokRyu/mutual_information_and_self-supervised_learning
References
1. Paper: Learning deep representations by mutual information estimation and maximization, ICLR2019, https://arxiv.org/abs/1808.06670
2. Official Github: https://github.com/rdevon/DIM
3. Microsoft blog: https://www.microsoft.com/…/deep-infomax-learning-good-rep…/
https://www.facebook.com/groups/TensorFlowKR/permalink/1027352860939105/?sfnsn=mo
