KF DeBERTa 카카오뱅크 & 에프엔가이드에서 학습한 금융 도메인 특화 언어모델을 공개합니다. Model description KF DeBERTa는 범용 도메인 말뭉치와 금융 도메인 말뭉치를 함께 학습한 언어모델 입니다. 모델 아키텍쳐는 DeBERTa v2를 기반으로 학습하였습니다. ELECTRA의 RTD를 training objective로 사용한 DeBERTa v3는 일부 task(KLUE RE, WoS, Retrieval)에서 상당히 낮은 성능을 확인하여 최종 아키텍쳐는 DeBERTa v2로 결정하였습니다. 범용 도메인 및 금융 도메인 downstream task에서 모두 우수한 성능을 확인하였습니다. 금융 도메인 downstream task의 철저한 성능검증을 위해 다양한 데이터셋을 통해 검증을 수행하였습니다. 범용 도메인 및 금융 도메인에서 기존 언어모델보다 더 나은 성능을 보여줬으며 특히 KLUE Benchmark에서는 RoBERTa Large보다 더 나은 성능을 확인하였습니다. Usage Benchmark 모든 task는 아래와 같은 기본적인 hyperparameter search만 수행하였습니다. batch size: {16, 32} learning rate: {1e 5, 3e 5, 5e 5} weight decay: {0, 0.01} warmup proportion: {0, 0.1} KLUE Benchmark Model YNAT KLUE ST KLUE NLI KLUE NER KLUE RE KLUE DP KLUE MRC WoS AVG : : : : : : : : : : : : : : : : : : : : F1 Pearsonr/F1 ACC F1 Entity/F1 Char F1 micro/AUC UAS/LAS EM/ROUGE JGA/F1 S mBERT (Base) 82.64 82.97/75.93 72.90 75.56/88.81 58.39/56.41 88.53/86.04 49.96/55.57 35.27/88.60 71.26 XLM R (Base) 84.52 88.88/81.20 78.23 80.48/92.14 57.62/57.05 93.12/87.23 26.76/53.36 41.54/89.81 72.28 XLM R (Large) 87.30 93.08/87.17 86.40 82.18/93.20 58.75/63.53 92.87/87.82 35.23/66.55 42.44/89.88 76.17 KR BER…
We use cookies for essential functionality and analytics. You can accept or reject analytics cookies.Cookie policy