안녕하세요. Tensorflow KR. 자연어처리 리뷰모임 [집현전]의 운영자 고현웅이라고 합니다. 이번 12월 한 달 동안 집현전에서 만든 자
Deep Learning/NLP 2021. 1. 14. 09:20안녕하세요. Tensorflow KR. 자연어처리 리뷰모임 [집현전]의 운영자 고현웅이라고 합니다. 이번 12월 한 달 동안 집현전에서 만든 자연어처리 논문 리뷰 비디오 8편 (초급반 4편, 중급반 4편) 을 공유하기 위해 글을 작성하였습니다. 관심 있으신 분들은 아래 설명과 영상을 참고하시면 좋을 것 같습니다!
[집현전 Links]
집현전 Github : https://github.com/jiphyeonjeon/nlp-review
집현전 초급반 Youtube : https://www.youtube.com/playlist?list=PLsXisDblbLJ_UaUPi0iThUQKgSbhIk5ho
집현전 중급반 Youtube : https://www.youtube.com/playlist?list=PLsXisDblbLJ8msozFyA8o2zf3zfbORHWd
[초급반 12월 발표]
1. 송석리 - Long Short Term Memory
https://youtu.be/HHKSCkPEQfw
자연어처리에 대표적으로 사용되는 시퀀스 처리 모델인 LSTM에 대해 리뷰합니다. LSTM을 알아보기 이전에 RNN에 대해 알아보고, LSTM의 각종 게이트의 역할, 그리고 실험 결과를 깔끔한 일러스트와 함께 설명합니다.
2. 이영빈 - Word2Vec
https://youtu.be/o-2kfiZP7Z8
워드 임베딩 모델인 Word2Vec에 대해 논의합니다. 특히 Skip-gram (주변 단어 예측) 과 CBOW (중심단어 예측) 등의 방식에 특성에 대해 논의하고 Word Analogy 등의 태스크에서 성능을 비교하였습니다.
3. 이기창 - FastText
https://youtu.be/7pDB9zqwxhs
Word2Vec을 개선한 FastText 임베딩에 대해 논의합니다. OOV 문제를 완화하기 위해 도입된 서브워드 임베딩의 개념에 대해 이야기하고 실험 성능을 비교합니다. 특히 Semantic 영역의 성능과 Syntactic 영역의 성능을 비교하여 평가합니다.
4. 허치영 - Neural Probabilistic Language Model (NPLM)
https://youtu.be/EWMNCTpfsLI
뉴럴 기반의 언어모델의 시초 격인 NPLM에 대해 리뷰합니다. NPLM의 학습 오브젝티브를 자세한 수식으로 알아보고 NPLM이 Long term dependency에 효과적인 이유에 대해 논의하고 실험 성능을 비교합니다.
[중급반 12월 발표]
1. 진명훈 - If Beam Search is the Answer, What was the Question?
https://youtu.be/KJClfF_nJj0
디코딩 전략 중 한가지인 빔서치에 대해 논의합니다. 빔 사이즈를 최대로 높히는 것과 동일한 MAP 생성이 실제로는 잘 안되는 문제를 지적하며 빔서치가 좋은 문장을 생성해내는 이유를 인지심리학적인 요인을 통해 분석합니다. 추가로 UID 디코딩이라는 새로운 기법에 대해서도 논의합니다.
2. 박동주 - SSMBA : Self Supervised Manifold Based Data Augmentation for Improving Out of Domain Robustness
https://youtu.be/1IwHZ_4uPK0
Vicinal Risk Minimization의 일환으로 BERT의 MLM을 활용한 Data Augmentation 기법에 대해 논의합니다. Machine Translation, NLI, Sentiment Analysis 등의 Downstram Task에서 실험을 진행하였으며, 특히 In domain과 Out of domain 세팅에서의 성능을 비교합니다.
3. 고현웅 - Machine Translation Survey
1편 : https://youtu.be/KQfvEg-fGMw
2편 : https://youtu.be/18iH6VX-IU4
총 4시간에 걸쳐서 Seq2Seq부터 최신 연구(mBART, M2M-100, M2 등...)까지 23편의 논문을 참고하여 신경망 기계 번역의 역사와 최신 연구 동향에 대해 논의합니다. Background, Dataset, Efficiency, Training, Architecture 등에 대해 논의를 진행하고 성능, 서비스, 앞으로의 방향성에 대해 디스커션을 진행합니다.
