[매일 논문 초록 읽기 : 23일차] 텍스트 기반 적대적 알고리즘을 사용한 지식 증류 방법론인 MATE-KD

거대한 사전학습 언어모델의 출현은 NLP 분야에서 빠른 발전을 가져다 주었다. 표준 benchmark들에서 모델들의 성능은 크기에 비례하지만, 지식 증류와 같은 압축 기술은 이러한 모델들을 실용적으로 만드는데 핵심적인 역할을 했다. 우리는 지식 증류의 성능을 향상시키는 텍스트 기반의 적대적 알고리즘인 MATE-KD를 제안한다. 

 

MATE-KD는 먼저 teacher과 student의 logit의 차이를 극대화 하는 방향으로 masked language model 기반의 생성기를 훈련시켜 텍스트를 교란시킨다. 그리고 지식 증류를 사용하여 student를 원본 데이터와 교란된 학습 예제들로 학습을 시킨다. 

 

우리는 GLUE benchmark에 대해 BERT-based model를 사용하여 우리의 알고리즘을 평가하였고, MATE-KD가 적대적 학습과 데이터 증강을 사용한 비교군 보다 좋은 성능이 나옴을 보였다. 우리의 6 layer RoBERTa-based는 GLUE test에 대해 BERT-LARGE보다 좋은 성능을 달성하였다.

 

제목 : MATE-KD: Masked Adversarial TExt, a Companion to Knowledge Distillation

https://aclanthology.org/2021.acl-long.86/