[매일 논문 초록 읽기 : 1일차] Fine-tuning과 비슷한 효과를 내는 Prompt Tuning

Frozen된 언어모델을 사용하여 연속 프롬프트만을 학습하는 방식인 prompt tuning은 task별 용량과 학습에 필요한 메모리의 용량을 줄인다. 하지만, NLU에서 진행된 과거의 연구들은 prompt tuning이 중간 사이즈의 pretrained model에서 성능을 잘 내지 못한다는 것을 밝혀냈다.

또한 우리는 현존하는 prompt tuning 방식이 어려운 sequence labeling task를 해결할 수 없어 범용성이 떨어진다는 점을 발견하였다.

우리는 적절하게 최적화된 prompt tuning이 NLU와 여러 크기의 모델에서 범용적으로 효과적일 수도 있다는 새로운 경험적인 결과를 제시한다.

이 방법은 전체 파라미터의 0.1% - 3% 만 학습하여도 finetuning의 성능과 일치한다.

우리의 방법론인 P-Tuning v2는 Deep Prompt Tuning을 NLU에 적합하게 최적화 하여 구현하였다.

P-Tuning v2의 범용성과 간단함으로 인해, 우리는 finetuning를 대체하고 미래 연구의 강력한 기준선이 될 것이라고 믿는다.

 

제목 : P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks

https://arxiv.org/abs/2110.07602