#2010_nlp_progress
안녕하세요 여러분 ! 새해 첫 주말은 잘들 보내셨나요? 오늘로 벌써 한 해의 1.6% 가 지나가고 있습니다 🙂 다들 새해를 맞아 한 해 간 지킬 계획들을 많이 세우셨을텐데, 모든 분들의 새해 다짐이 꼭 이루어지길 기원합니다.
오늘은 지난 2010년대에 있었던 자연어 처리의 발전사를 간략하고 밀도 있게 소개한 트윗 글을 여러분께 소개해드리고자 합니다.
Amsterdam 대학에서 전산 언어학 교수를 지내고 있는 Willem Zuidema 교수는 2010년대에 자연어 처리에 있었던 신경망 기반의 발전을 10가지 사건과 그 사건을 구성하는 13개의 논문을 통해 정리해주었습니다.
지난 10년 간 자연어 처리 분야에서 어떠한 발전들이 있었는지 한 번 살펴보실까요?
cf) 각 사건을 설명하는 글들은 이전에 있었던 이론 및 개념을 실제로 '잊어버리자'는 것이 아닌, 당시 학계에 불었던 바람을 표현하고 있습니다. 진지하게 받아들이시기 보다는, 가벼운 마음으로 읽으시길 추천드립니다 🙂
ㅡㅡㅡㅡㅡㅡㅡㅡ
2010년대는 자연어 처리 분야에 있어 파란만장한 10년이었습니다. 저는 이 글을 통해 2010년 이후 있었던 10개의 충격적인 발전과 해당 발전을 이끌었던 13개의 논문에 대해 이야기해보고자 합니다. 해당 발전들을 통해 자연어 처리는 이전과 비교할 수 없을 정도로 성능의 발전을 이룩하였습니다.
Shock 1 (2010): 신경망 네트워크를 기억하시나요? 해당 네트워크는 우리가 생각했던 것보다 자연어 처리에 훨씬 더 효과적이었습니다. Recurrent Neural Networks(RNNs, [1])와 Recursive Neural Networks (RNNs, [2])를 배워봅시다!
[1] Tomáš Mikolov et al.: Recurrent neural network based language model
[2] Richard Socher et al.: Learning Continuous Phrase Representations and Syntactic Parsing with Recursive Neural Networks
Shock 2 (2013): 이제 간단한 Recurrent, Recursive Networks들을 잊어버립시다. 그 대신 Long Short Term Memory(LSTM)를 사용합시다.
[3] Alex Graves: Generating Sequences With Recurrent Neural Networks
Shock 3 (2013): Distributional semantics를 기억하시나요? 좋습니다. 이제 해당 개념들을 다 잊어버리고 Word2Vec을 학습합시다!
[4] T Mikolov et al.: Distributed Representations of Words and Phrases and their Compositionality
Shock 4 (2014): 이제, 통계 기반 기계번역(SMT)에서 사용했던 구 단위 기계번역은 잊어버리고 Seq2Seq에 대해 학습합시다. 아참, LSTM은 기억하고 계신가요? 좋습니다. 이제 LSTM보다 간단한 구조를 지니며, 때때로 더 좋은 성능을 보이기도 하는 GRU도 함께 학습합시다.
[5] Cho Kyunghyun et al.: Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
Shock 5 (2014): Seq2Seq을 기억하시나요? 좋습니다. 이제 Seq2Seq과 Attention을 함께 사용하는 방법을 학습합시다.
[6] Dzmitry Bahdanau et al.: Neural Machine Translation by Jointly Learning to Align and Translate
Shock 6 (2014): Deep Learning은 저희 생각보다 더 강력했습니다. End-to-end로 구성된 신경망 모델이 Speech recognition에서 SOTA를 달성했습니다!
[7] Awni Hannun et al. : Deep Speech: Scaling up end-to-end speech recognition
Shock 7 (2015): Symbolic structure의 전통적 이론들도 안전하지는 않았습니다. 2015년 Recursive 신경망이 Logic을 학습하기 시작했습니다 [sort of, 8]; 또한 bi-LSTM 기반의 파서는 Syntactic parsing에서 SOTA를 달성했습니다. [9]
[8] Sam Bowman et al.: Recursive Neural Networks Can Learn Logical Semantics
[9] Eliyahu Kiperwasser et al.: Simple and Accurate Dependency Parsing Using Bidirectional LSTM Feature Representations
Shock 8 (2016): 2016년 신경망 기반의 기계번역 시스템이 기계번역 분야에서 선두에 등극했습니다. 같은 해, Google Translate 역시 신경망 기반 기계번역을 사용하기 시작합니다.
[10] R Sennrich et al.: Edinburgh Neural Machine Translation Systems for WMT 16
Shock 9 (2017): LSTM을 기억하고 계신가요? 좋습니다. 이제 "Attention이 우리가 필요한 모든 것"이기 때문에(Attention Is All You Need) LSTM은 전부 잊어버립시다.
[11] Ashish Vaswani et al.: Attention Is All You Need
Shock 10 (2018): Word2Vec을 기억하시나요? 좋습니다. 이제 Word2Vec은 잊고 문맥을 활용한 Word Embedding를 학습합시다. (ELMO [12], BERT [13])
[12] M Peters et al.: Deep contextualized word representations
[13] J. Devlin et al.: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
저에게 2010년대는 쉴새 없이 출간되는 논문들을 따라 잡고, 강의 Syllabus를 재조정하고, 폭발적으로 늘어나는 학생들을 관리하느라 정말 힘든 10년이었습니다.
그럼에도 이러한 변화들이 계속해서 일어나는 자연어 처리 분야에 몸을 담고 있는 것은 제게 큰 특권이라고 생각합니다!
ㅡㅡㅡㅡㅡㅡㅡㅡ
저는 개인적으로 어떤 공부를 새로이 시작할 때 최신 기술을 바로 공부하는 것보다 해당 기술의 발전사를 기반으로 학습을 하는 것을 선호하는데, 글을 읽으며 제가 자연어 처리를 처음으로 공부하던 시기에 본 트윗을 만났으면 좋은 이정표로 삼을 수 있었겠다라는 생각을 많이 했습니다 🙂
지난 10년 간 자연어 처리 발전을 이해하는데 여러분께 많은 도움이 되셨기를 바랍니다.
P.S) 본 포스트의 사진은 WarNik Chow님의 슬라이드에서 발췌하였습니다 !
original tweet: https://twitter.com/wzuidema/status/1212727352037429248
