2020년 가을에 UMASS에서 개설된 Advanced NLP 강의입니다. 슬라이드/동영상 모두 제공됩니다. 강의 제목처럼 기본 NLP내용 외
Deep Learning/course 2021. 4. 28. 22:252020년 가을에 UMASS에서 개설된 Advanced NLP 강의입니다.
슬라이드/동영상 모두 제공됩니다.
강의 제목처럼 기본 NLP내용 외에 최신 내용들을 다루기 때문에 NLP에 대한 사전 지식이 필요한 강의입니다.
동영상 강의는 총 26시간 정도 분량입니다.
[video] https://www.youtube.com/playlist?list=PLWnsVgP6CzadmQX6qevbar3_vDBioWHJL
[homepage] https://people.cs.umass.edu/~miyyer/cs685/schedule.html
[schedule]
Week 1: introduction, language models, representation learning
Week 2: neural LMs, RNNs, backpropagation
Week 3: Attention mechanisms
Week 4: Transformers, transfer learning
Week 5: BERT and how to use it for downstream tasks
Week 6: further improving transfer learning in NLP
Week 7: improving text generation
Week 8: data augmentation and collection
Week 9: model distillation and retrieval-augmented LMs
Week 10: Transformer implementation, vision + language
Week 11: Exam week!
Week 12: Ethics and probe tasks
Week 13: Semantic parsing and commonsense reasoning
