Awesome
KoBERT-nsmc
- KoBERT를 이용한 네이버 영화 리뷰 감정 분석 (sentiment classification)
- 🤗
Huggingface Tranformers🤗 라이브러리를 이용하여 구현
Dependencies
- torch==1.4.0
- transformers==2.10.0
How to use KoBERT on Huggingface Transformers Library
- 기존의 KoBERT를 transformers 라이브러리에서 곧바로 사용할 수 있도록 맞췄습니다.
- transformers v2.2.2부터 개인이 만든 모델을 transformers를 통해 직접 업로드/다운로드하여 사용할 수 있습니다
- Tokenizer를 사용하려면
tokenization_kobert.py에서 KoBertTokenizer를 임포트해야 합니다.
from transformers import BertModel
from tokenization_kobert import KoBertTokenizer
model = BertModel.from_pretrained('monologg/kobert')
tokenizer = KoBertTokenizer.from_pretrained('monologg/kobert')
Usage
$ python3 main.py --model_type kobert --do_train --do_eval
Prediction
$ python3 predict.py --input_file {INPUT_FILE_PATH} --output_file {OUTPUT_FILE_PATH} --model_dir {SAVED_CKPT_PATH}
Results
| Accuracy (%) |
|---|
| KoBERT | 89.63 |
| DistilKoBERT | 88.41 |
| Bert-Multilingual | 87.07 |
| FastText | 85.50 |
References