[매일 논문 초록 읽기 : 36일차] Unlabeled text의 좌우 문맥으로부터 학습을 진행하는 BERT

우리는 새로운 언어 표현 모델인 BERT (Bidirectional Encoder Representations from Transformers)를 소개한다. 최근 나온 언어 표현 모델들과 다르게, BERT는 레이블링 되지 않은 텍스트로부터 양방향 표현을 깊게 사전학습 하는데 초점을 맞추고 있으며, 모든 layer에서 왼쪽과 오른쪽 문맥에 같은 조건을 부여한다.

 

결과적으로, 사전학습된 BERT model은 question answering, language inference와 같은 광범위한 task에서 SOTA를 달성하는 모델을 생성하기 위해 task별 아키텍쳐를 구축하지 않고 단 하나의 output layer를 추가하여 fine-tuning을 진행한다.

 

BERT는 개념적으로 간단하고, 실험적으로 강력하다. 이는 11개의 NLP task들에서 새로운 SOTA를 달성하였다.

GLUE score (7.7% 향상 -> 80.5% 달성)

MultiNLI accuary (4.6% 향상 -> 86.7% 달성)

SQuAD v1.1 Test F1 (1.5 향상 -> 93.2 달성)

SQuAD v2.0 Test F1 (5.1 향상 -> 83.1 달성)

 

제목 : BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

https://arxiv.org/abs/1810.04805