[매일 논문 초록 읽기 : 26일차] 지식 증류 방법론에 대한 Survey

최근 몇년간, deep neural network 들은 computer vision task들에 대해 산업과 학계 모두에서 성공적인 모습을 보였다. 딥러닝의 대성공은 대규모 데이터를 encode하고, 모델이 가지고 있는 10억개의 파라미터들을 가동했기 때문이다. 하지만 핸드폰이나 임베디드 디바이스와 같이, 한정된 리소스를 가진 디바이스에 큰 모델을 넣는 것은 매우 어렵다. 큰 모델들은 저장 용량을 많이 요구하고, 높은 컴퓨팅 복잡도를 요구하기 때문이다. 이러다보니, 모델을 압축하고 추론을 빠르게 만드는 여러가지 기술들이 개발되었다.

 

모델의 압축과 가속을 표현하는 방법 중, 지식 증류는 큰 teacher model로 작은 student model을 효율적으로 학습시킨다. 이것은 커뮤니티의 이목을 집중시켰다. 이 논문은 지식의 종류, 학습 방법, teacher-student 아키텍쳐, 증류 알고리즘, 성능 비교 및 적용의 관점에서 지식 증류에 대한 종합적인 조사 결과를 제공한다. 게다가, 지식 증류를 위한 도전들에 대해 검토하고, 미래 연구들의 방향성에 대해 논의한다.

 

제목 : Knowledge Distillation: A Survey

https://arxiv.org/abs/2006.05525