2주 간의 KoELECTRA 개발기 - 2부
2020-05-02
2주 간의 KoELECTRA 개발을 마치고, 그 과정을 글로 남기려고 한다.
1347 words
|
7 minutes
2주 간의 KoELECTRA 개발기 - 1부
2020-05-02
2주 간의 KoELECTRA 개발을 마치고, 그 과정을 글로 남기려고 한다.
2072 words
|
10 minutes
내가 만든 ELECTRA를 Huggingface Transformers로 Porting하기
2020-05-01
BERT, ALBERT, ELECTRA 등을 직접 Pretrain하게 되면 모델이 Tensorflow의 ckpt 형태로 저장이 된다.
803 words
|
4 minutes
나만의 BERT Wordpiece Vocab 만들기
2020-04-27
개인적으로 Pretrained Language Model 성능에 큰 영향을 주는 것 중 하나로 Vocab quality라고 생각한다.
572 words
|
3 minutes
TPU를 이용하여 Electra Pretraining하기
2020-04-20
최근 ELECTRA의 공식 코드가 공개되면서 한국어 Corpus에 직접 Electra를 만들게 되었다.
425 words
|
2 minutes
