[매일 논문 초록 읽기 : 16일차] teacher의 성능이 student의 성능과 비례하지 않는다는 문제점을 해결하기 위한 방법론인 LGTM

좋은 성능을 가진 teacher model이 반드시 강력한 student를 만들어내지 않는다는 것이 흔하게 관찰된다. 이는 현재 teacher의 학습 방법과 효율적인 지식 전이 간의 불일치를 강조한다. teahcer의 학습 과정을 향상시키기 위해, 우리는 student의 일반적인 능력에 대한 각 training sample의 distillation의 영향을 결정하기 위해 distillation influence의 개념을 소개한다. 이 논문에서, 우리는 teacher의 학습 과정에서 distillation influence를 통합하는 효율적인 학습 방법인 Learning Good Teacher Matters (LGTM)을 제안한다. student의 일반적인 능력을 향상시킬 가능성이 높은 샘플들을 우선시함으로써, 우리의 LGTM은 GLUE benchmark의 6개의 text classification task에서 10개의 일반적인 지식 증류 baseline보다 더 높은 성능을 달성하였다.

제목 : Tailoring Instructions to Student’s Learning Levels Boosts Knowledge Distillation
https://arxiv.org/abs/2305.09651