[매일 논문 초록 읽기 : 12일차] 각 layer별로 prefix 를 조정하는 APT

사전학습된 언어모델의 모든 파라미터를 사용하여 다양한 downstream task에 fine-tuning 하는 것은 불가능할 정도로 비싸다. 따라서, frozen된 사전학습 언어모델을 사용하여 몇개의 파라미터만 최적화 시키는 파라미터 효율적인 fine-tuning은 주목을 받고 있다. 이 연구에서 우리는 Transformer layer들에 삽입된 continuous prefix vector를 최적화하는 prefix tuning에 집중한다. 학습된 구문과 의미 표현들이 레이어마다 많이 달라진다는 관찰을 통해, 우리는 adaptive prefix가 하나의 레이어보다 각 레이어에 더 맞춤화 되어 있어 효율적이고 효과적으로 fine-tuning을 진행할 수 있다고 주장한다. 그러므로, 우리는 게이트 메커니즘을 통해 세분화된 token과 거친 레이어에서 prefix를 조정하는 Adaptive Prefix Tuning (APT)를 제안한다. SuperGLUE와 NER 데이터셋에 대한 실험은 APT의 효율성을 보여준다. 게다가, 게이트를 사용하여 variable prefix의 효율성과 효과성을 검증한다.

 

제목 : Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning

https://arxiv.org/abs/2305.15212