[매일 논문 초록 읽기 : 19일차] Multiple NLU task를 위한 MT-DNN

이 논문에서, 우리는 Multiple NLU task들 간의 표현을 학습하는 Multi-Task Deep Neural Network (MT-DNN)를 소개한다. MT-DNN은 많은 양의 task간 데이터를 활용할 뿐만 아니라, 새로운 task와 damain에 적용할 때 도움이 되는 일반적인 표현을 이끌어 내는 정규화된 효과의 이득을 본다. MT-DNN은 기존에 제안된 모델을 확장하여 BERT라고 알려진 사전학습 양방향 트랜스포머 언어모델을 통합한다. MT-DNN은 SNLI, SciTail과 9개의 GLUE task 중 8개의 task까지 총 10개의 NLU task에서 SOTA를 달성하였다. (GLUE 벤치마크의 경우 82.7%를 달성, 2.2% 증가) 우리는 또한 SNLI과 SciTail 데이터셋을 통해 MT-DNN이 학습한 표현이 사전학습된 BERT의 표현들 보다 훨씬 적은 in-domain label을 사용하여 domain adaptation이 가능함을 보였다. 코드와 사전학습 된 모델은 https://github.com/namisan/mt-dnn 에서 공개적으로 사용할 수 있다. 

 

제목 ㅣ Multi-Task Deep Neural Networks for Natural Language Understanding

https://arxiv.org/abs/1901.11504