[매일 논문 초록 읽기 : 31일차] 시간이 흐름에 따라 발생하는 catastrophic forgetting을 방지하는 방법론

현실 세계의 여러가지 상황들에서, 머신러닝 모델을 학습하는데 사용되는 데이터는 시간이 지남에 따라 제공된다. 불행하게도, 이러한 모델들은 과거에 배운것들을 잃어버리지 않으면서 새로운 개념들을 계속 배우기 위해 노력하고 있다. 

 

이러한 현상은 catastrophic forgetting으로 알려져 있고, 이것은 여러가지 현실적인 제약들로 인해 예방하기 어렵다. 예를 들어, 저장될 수 있는 데이터의 양 또는 컴퓨팅 자원이 한정될 수 있다. 게다가, 많은 응용 프로그램들이 사전학습된 Transformer와 같은 거대한 사전학습 neural network에 의존하고 있다. 왜냐하면 모델을 처음부터 학습시킬 자원이나 데이터의 양이 많지 않기 때문이다.

 

이 논문에서, 우리는 사전학습된 Transformer를 사용하여 일련의 task들에 대해 모델을 점진적으로 학습시키고, Adapter를 확장시키는 방법론을 고안했다. 기존의 방법론과 다른 점은, 우리의 방법론은 상당한 overhead 없이 많은 수의 task로 확장 가능하고, task들간의 정보를 공유하면서 학습시킬 수 있다는 점이다.

 

이미지, 텍스트 인식 task들에서, 우리는 우리의 방법론이 시간이 지나도 모델을 재학습시키거나 모델의 파라미터를 늘리지 않고도 예측 성능을 유지함을 보였다. 이 결과를 낸 모델은 Adapter를 사용한 SOTA 방법론 보다 추론 시간 또한 빨랐다.

 

제목 : Memory Efficient Continual Learning with Transformers

https://arxiv.org/abs/2203.04640