#BERT #KcBERT 안녕하세요! 한국어 댓글 데이터셋으로 BERT Pretrain을 처음부터 진행해 만든 KcBERT를 공개합니다 :
Deep Learning/NLP 2020. 7. 20. 14:22#BERT #KcBERT
안녕하세요!
한국어 댓글 데이터셋으로 BERT Pretrain을 처음부터 진행해 만든 KcBERT를 공개합니다 :)
공개된 한국어 BERT는 대부분 한국어 위키, 뉴스 기사, 책 등 잘 정제된 데이터를 기반으로 학습한 모델입니다. 한편, 실제로 NSMC와 같은 댓글형 데이터셋은 정제되지 않았고 구어체 특징에 신조어가 많으며, 오탈자 등 공식적인 글쓰기에서 나타나지 않는 표현들이 빈번하게 등장합니다.
KcBERT는 위와 같은 특성의 데이터셋에 적용하기 위해, 네이버 뉴스에서 댓글과 대댓글을 수집해, 토크나이저와 BERT모델을 처음부터 학습한 Pretrained BERT 모델입니다.
KcBERT는 Huggingface의 Transformers 라이브러리를 통해 간편히 불러와 사용할 수 있습니다. (별도의 파일 다운로드가 필요하지 않습니다!)
좀더 자세한 내용은 아래 Github Repo를 참고해주세요! :D
[https://github.com/Beomi/KcBERT](https://github.com/Beomi/KcBERT)
