나만의 BERT Wordpiece Vocab 만들기
개인적으로 Pretrained Language Model 성능에 큰 영향을 주는 것 중 하나로 Vocab quality
라고 생각한다.
이번 포스트에서는 tokenization의 방법 중 하나인 Wordpiece
를 이용하여 어떻게 vocab을 만드는지 알아보려 한다:)
개인적으로 Pretrained Language Model 성능에 큰 영향을 주는 것 중 하나로 Vocab quality
라고 생각한다.
이번 포스트에서는 tokenization의 방법 중 하나인 Wordpiece
를 이용하여 어떻게 vocab을 만드는지 알아보려 한다:)