[매일 논문 초록 읽기 : 2일차] PETuning 방법론의 불안정성은 신뢰할 수 없는 결과를 도출한다

파라미터 효율적인 튜닝 (PETuning) 방법론은 많은 사람들에게 사전학습 언어 모델을 활요할 수 있는 새로운 패러다임으로 여겨지고 있다.
전체 모델을 파인튜닝 하는 것에 비해 일부의 파라미터만 튜닝하여, PETuning 방법론은 파인튜닝과 비슷하거나 그보다 더 좋은 성능을 달성할 수 있다고 주장한다.
이 연구에서, 우리는 PETuning 방법론의 학습과 평가에 대한 최초의 종합적인 조사를 진행하면서 이 방법론을 재검토 하였다.
우리는 최근 연구들에서 사용된 문제가 있는 validation과 test의 관행이, PETuning 방법론의 불안정성과 함께 신뢰할 수 없는 결론으로 이어진다는 것을 발견했다.
정직하고 공평한 평가 프로토콜 아래서 비교하였을때, PETuning은 일관되게 경쟁력 있는 성능을 제공할 수 없는 반면, 파인튜닝은 중간의 자원이나 많은 자원을 요구하는 환경에서 여전히 최고의 성능을 발휘하는 방법으로 남아있다.
우리는 이러한 불안정성의 원인을 연구하고, 학습 가능한 파라미터의 개수와 학습 반복 횟수가 2가지 주요한 요인임을 관찰했다.
학습 가능한 파라미터의 개수를 감소시키고, 학습 횟수를 증가시키는 것은 PETuning 방법론의 안정성을 높일 수 있다.

 

제목 : Revisiting Parameter-Efficient Tuning: Are We Really There Yet?

https://arxiv.org/pdf/2202.07962.pdf