[매일 논문 초록 읽기 : 50일차] Catastrophic forgetting을 방지하는 기법을 사용하지 않아도 BERT의 학습 능력은 뛰어남을 보여주는 조사

 대규모 사전학습 언어모델은 여러가지 NLP task들에서 SOTA를 달성하는데 도움을 주었다. 그럼에도 불구하고, 연속적인 task들을 학습하는 양이 늘어남에 따라 지식을 잃어버리는 문제를 겪는다. 이러한 문제를 해결하기 위해, sparse experience replay와 local adaptation을 통해 현존하는 모델들을 강화했고, 이는 만족스러운 성능을 제공하였다.

 

 하지만, 이 논문에서 우리는 BERT와 같은 사전학습 언어모델이 sparse experience replay를 하지 않아도 순차적으로 학습할 수 있는 잠재력을 가졌다는 것을 발견하였다. BERT가 이전에 학습한 지식을 유지할 수 있는 능력이 있다는 것을 검증하기 위해, 우리는 BERT의 parameter를 고정시키고 single-layer probe를 채택하고 fine-tuning을 다시 실행하였다. 우리는 이러한 모델을 text classification, extractive question answering의 2종류 NLP task에 대해 조사하였다. 

 

 우리의 실험은 BERT가 이전에 학습한 task들에 대한 높은 품질의 표현을 장기적으로 생성할 수 있다는 점을 드러내었고, 이는 extremely sparse replay를 요하거나 심지어는 replay를 사용하지 않아도 달성할 수 있었다. 더 나아가, 우리는 forgetting의 원리와 memory rehersal에서 task가 늘어났을 때 어떻게 중요한 역할을 하는지에 대한 새로운 방법론들을 소개한다. 이는 catastrophic forgetting에 대한 이전의 연구들과 우리의 연구간의 큰 차이를 연결 시켜준다.

 

제목 : CAN BERT REFRAIN FROM FORGETTING ON SEQUEN- TIAL TASKS? A PROBING STUDY

https://arxiv.org/pdf/2303.01081.pdf

 

Rehearsal method : 과거 task의 예제를 저장하고, 현재 task를 학습할 때 추가로 같이 학습하는 방법

Sparse experience replay : 학습 과정에서 이전에 다룬 데이터 중 중요하거나 희소한 경험을 선택적으로 재사용 하는 방법

Single-layer probe : 특정 Layer의 output으로 분류/회귀기를 학습하고 해당 분류/회귀기로 성능 평가