beomi/KcELECTRA-base-v2022🚨 Important Note: This REPO is DEPRECATED since KcELECTRA base v2023 Released 🚨 USE https://huggingface.co/beomi/KcELECTRA base and v2022 Revision if needed. KcELECTRA: Korean comments ELECTRA Updates on 2022.10.08 KcELECTRA base v2022 (구 v2022 dev) 모델 이름이 변경되었습니다. 위 모델의 세부 스코어를 추가하였습니다. 기존 KcELECTRA base(v2021) 대비 대부분의 downstream task에서 ~1%p 수준의 성능 향상이 있습니다. 공개된 한국어 Transformer 계열 모델들은 대부분 한국어 위키, 뉴스 기사, 책 등 잘 정제된 데이터를 기반으로 학습한 모델입니다. 한편, 실제로 NSMC와 같은 User Generated Noisy text domain 데이터셋은 정제되지 않았고 구어체 특징에 신조어가 많으며, 오탈자 등 공식적인 글쓰기에서 나타나지 않는 표현들이 빈번하게 등장합니다. KcELECTRA는 위와 같은 특성의 데이터셋에 적용하기 위해, 네이버 뉴스에서 댓글과 대댓글을 수집해, 토크나이저와 ELECTRA모델을 처음부터 학습한 Pretrained ELECTRA 모델입니다. 기존 KcBERT 대비 데이터셋 증가 및 vocab 확장을 통해 상당한 수준으로 성능이 향상되었습니다. KcELECTRA는 Huggingface의 Transformers 라이브러리를 통해 간편히 불러와 사용할 수 있습니다. (별도의 파일 다운로드가 필요하지 않습니다.) KcELECTRA Performance Finetune 코드는 https://github.com/Beomi/KcBERT finetune 에서 찾아보실 수 있습니다. 해당 Repo의 각 Checkpoint 폴더에서 Step별 세부 스코어를 확인하실 수 있습니다. Size (용량) NSMC (acc) Naver NER (F1) PAWS (acc) KorNLI (acc) KorSTS (spearman) Question Pair (acc) KorQuaD (Dev) (EM/F1) : : : : : : : : : : : : : : : : : KcELECTRA base v2022 475M 91.97 87.35 76.50 82.12 83.67 95.12 69.00 /…

We use cookies for essential functionality and analytics. You can accept or reject analytics cookies.Cookie policy