Frozen된 언어모델을 사용하여 연속 프롬프트만을 학습하는 방식인 prompt tuning은 task별 용량과 학습에 필요한 메모리의 용량을 줄인다. 하지만, NLU에서 진행된 과거의 연구들은 prompt tuning이 중간 사이즈의 pretrained model에서 성능을 잘 내지 못한다는 것을 밝혀냈다.
또한 우리는 현존하는 prompt tuning 방식이 어려운 sequence labeling task를 해결할 수 없어 범용성이 떨어진다는 점을 발견하였다.
우리는 적절하게 최적화된 prompt tuning이 NLU와 여러 크기의 모델에서 범용적으로 효과적일 수도 있다는 새로운 경험적인 결과를 제시한다.
이 방법은 전체 파라미터의 0.1% - 3% 만 학습하여도 finetuning의 성능과 일치한다.
우리의 방법론인 P-Tuning v2는 Deep Prompt Tuning을 NLU에 적합하게 최적화 하여 구현하였다.
P-Tuning v2의 범용성과 간단함으로 인해, 우리는 finetuning를 대체하고 미래 연구의 강력한 기준선이 될 것이라고 믿는다.
제목 : P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks
'인공지능 > 매일 논문 초록 읽기' 카테고리의 다른 글
| [매일 논문 초록 읽기 : 6일차] 여러 task에 대해 few-shot으로 좋은 성능을 내는 모델 (0) | 2023.11.06 |
|---|---|
| [매일 논문 초록 읽기 : 5일차] 언어모델을 사람의 의도와 맞추는 방법 (0) | 2023.11.05 |
| [매일 논문 초록 읽기 : 4일차] 도메인 adaptation 사용시 파라미터의 개수를 줄이는 효율적인 방법 (랭크 분해 행렬) (0) | 2023.11.04 |
| [매일 논문 초록 읽기 : 3일차] 최근의 언어모델들은 모델의 크기에 비해 데이터가 작아 학습량이 부족하다 (0) | 2023.11.04 |
| [매일 논문 초록 읽기 : 2일차] PETuning 방법론의 불안정성은 신뢰할 수 없는 결과를 도출한다 (0) | 2023.11.02 |