[매일 논문 초록 읽기 : 34일차] 지식 증류 과정에서 전이시킬 지식을 선택하는 actor-critic 접근법

지식 증류는 teacher model에서 student model로 지식을 전이시키는 문제를 다룬다.

이 과정에서, 우리는 정형적으로 teacher model에서 여러가지 종류의 데이터를 추출하게 된다. 문제는 이러한 지식을 활용하여 student model을 효과적으로 학습시키는 것이다.

 

우리의 예비 연구는 다음을 보여준다.

1. student 모델을 학습시키는데 모든 지식이 필요하지 않다.
2. 지식 증류는 훈련 단계에 따라 특정 지식으로부터 이익을 얻을 수 있다.

 

이것의 대한 대응으로, 우리는 지식 증류 과정에서 전이시킬 적절한 지식을 선택하는  actor-critic 접근법을 제안한다. 게다가, 우리는 연산에 부담을 낮출 수 있도록 강화된 학습 알고리즘을 제공한다. GLUE 데이터셋에서의 실험 결과는 우리의 방법론이 몇몇 강력한 지식 증류 방법론 보다 명확하게 좋은 성능을 냄을 보였다.

 

제목 : Improved Knowledge Distillation for Pre-trained Language Models via Knowledge Selection

https://aclanthology.org/2022.findings-emnlp.464/