안녕하세요! 최근 모두의 말뭉치가 새로 공개된 겸하여 KoELECTRA-v3를 새로 만들었습니다:) 모두의 말뭉치를 포함한 약 34GB 데이터

Deep Learning/NLP 2020. 10. 12. 12:01

안녕하세요!

최근 모두의 말뭉치가 새로 공개된 겸하여 KoELECTRA-v3를 새로 만들었습니다:)
모두의 말뭉치를 포함한 약 34GB 데이터로 Pretraining
Mecab과 Wordpiece를 이용하여 Vocab 새로 제작

다행히도 여러 Task에서 눈에 띄는 성능 향상이 보이네요 (역시 데이터가 많은 게 최고네요ㅎ)
많은 분들이 사용해주셔서 항상 감사하고, 새로 공개한 모델도 한국어 NLP 연구에 많은 도움이 되었으면 좋겠습니다! 🤗
- Github: https://github.com/monologg/KoELECTRA

'Deep Learning > NLP' 카테고리의 다른 글

안녕하세요. 한국어 문장 분리기로 많은 사랑을 받고 있는 Korean Sentence Splitter(KSS)의 새로운 소식을 어디다 남길까 (0)	2020.12.22
안녕하세요. Tensorflow KR. 얼마전에 SKT에서 한국어 Seq2Seq 사전학습 모델인 KoBart를 공개하였는데요. 이를 git (2)	2020.12.16
요즘 화제가 되고 있는 #OpenAI의 #GPT3 원리를 멋진 애니메이션 비주얼과 함께 설명한 글입니다. (영어) [https://jalamm (0)	2020.08.04
안녕하세요. 제가 자연어처리 입문하면서 도움되었던 자료들 공유해보려고 합니다! 딥러닝을 이용한 자연어 처리 입문 [https://wikidocs (0)	2020.07.22
#BERT #KcBERT 안녕하세요! 한국어 댓글 데이터셋으로 BERT Pretrain을 처음부터 진행해 만든 KcBERT를 공개합니다 : (2)	2020.07.20