[매일 논문 초록 읽기 : 22일차] BERT를 모듈화 하고, 모듈을 교체하는 방식을 사용하여 모델 압축을 해낸 방법론

이 논문에서, 우리는 progressive module replacing을 사용하여 BERT를 효과적으로 압축하는 새로운 모델 압축 접근법을 제안한다. 우리의 방법론은 먼저 original BERT를 여러개의 모듈로 나누고, 그것들을 대체하는 compact module을 구축한다. 그리고, 우리는 무작위 original module들을 compact module들로 대체하여 original module들의 행동을 모방하도록 학습시킨다. 우리는 학습 과정을 통해 교체 확률을 높여 나갔다.

 

이러한 방법을 통해, 우리의 접근법은 original model과 compact model의 상호 작용을 더 깊은 단계로 이끌었다. BERT 압축을 위한 기존의 지식 증류 방법과 비교하면, 우리의 접근법은 추가적인 loss function을 도입하지 않는다. 우리의 접근법은 GLUE benchmark에 대한 존재하는 지식 증류 접근법들보다 좋은 성능을 보여줌으로써 모델 압축의 새로운 관점을 보였다.

 

제목 : BERT-of-Theseus: Compressing BERT by Progressive Module Replacing

https://arxiv.org/abs/2002.02925