내가 만든 ELECTRA를 Huggingface Transformers로 Porting하기
BERT
, ALBERT
, ELECTRA
등을 직접 Pretrain하게 되면 모델이 Tensorflow의 ckpt 형태로 저장이 된다.
이번 글에서는 tensorflow ckpt
를 transformers의 pytorch ckpt
로 변환하는 법을 알아보겠다🤗
BERT
, ALBERT
, ELECTRA
등을 직접 Pretrain하게 되면 모델이 Tensorflow의 ckpt 형태로 저장이 된다.
이번 글에서는 tensorflow ckpt
를 transformers의 pytorch ckpt
로 변환하는 법을 알아보겠다🤗