[매일 논문 초록 읽기 : 17일차] Knowledge Distillation과 Meta Learning을 결합한 MetaDistil (teacher를 지식 전이에 효과적으로 만드는 방법론)

우리는 학습 과정에서 teacher model이 고정되어 있는 전통적인 지식 증류 방법론의 효과적이고 간단한 대안인 Meta learning을 추가한 지식 증류 (MetaDistil)을 제안한다. 우리는 meta learning framework에서 student network의 성능에 대한 feedback을 통해 teacher network를 student network에 지식을 더 잘 전이시킬 수 있도록 학습시킬 수 있음을 보였다. 게다가, 우리는 inner-learner의 향상에 집중한 meta learning 알고리즘에서  inner-learner와 meta-learner 간의 일치를 향상시키는 pilot update mechanism을 소개한다. 여러 benchmark에서의 실험들은 MetaDistil이 기존의 지식 증류 알고리즘과 비교하여 더 향상된 성능을 보였고, student 모델의 용량과 hyperparameter의 영향을 덜 받으므로 다양한 작업과 모델에 지식 증류를 사용하기 쉽게 만들었다.

 

제목 : BERT Learns to Teach: Knowledge Distillation with Meta Learning

https://arxiv.org/abs/2106.04570