언유상씨의 건전한 취미생활

[매일 논문 초록 읽기 : 48일차] 추가 데이터들로 발생할 수 있는 Knowledge Forgetting을 방지하는 LoRAMoE 본문

건전한 학습생활 - 매일 논문 초록 읽기

[매일 논문 초록 읽기 : 48일차] 추가 데이터들로 발생할 수 있는 Knowledge Forgetting을 방지하는 LoRAMoE

언유상 2023. 12. 28. 00:02

 Supervised fine-tuning (SFT)는 LLM을 사람의 지시문과 LLM을 정렬시키고, downstream task에 대해 LLM의 능력을 향상시키는데 중요한 단계이다. 광범위한 downstream task들에 대해 모델을 정렬시키거나, 특정 task에 대한 성능을 향상시키기 위해 fine-tuning data를 증가시키는 방법이 해결책으로 부상하였다. 하지만, 우리는 지시 데이터를 크게 늘리는 것은 LLM이 이전에 저장하고 있었던 정보들을 잃을 수 있다는 것을 발견하였다. 즉, 지식을 잊는 것이다. 

 

 이 논문에서, 우리는 이러한 문제를 해결하기 위해 LoRAMoE를 소개한다. LoRAMoE는 MoE의 plugin 버전이다. plugin의 형태는 학습을 진행하는 과정에서 backbone 모델을 freeze 시킴으로써 지식의 무결성을 보장한다. 그리고 우리는 task에 활용할 수 있도록 expert들의 일부를 조정하고, 다른 expert 모델에 저장된 지식을 활용할 수  있도록 균형을 맞추는 사용법을 제안한다.

 

 실험적인 결과는 LoRAMoE는 추론 간 data type에 기반하여 합리적으로 expert들을 조정할 수 있었음을 보였고, 심지어 지시 데이터를 급격하게 많이 추가 했음에도 knowledge forgetting을 막아냈다. 게다가, LoRAMoE는 downstream task에 대해 추가적인 이득들을 제공하였고, multi-task learning 분야에서 우리의 접근법이 가지고 있는 잠재력을 보였다.

 

 

제목 : LoRAMoE: REVOLUTIONIZING MIXTURE OF EX- PERTS FOR MAINTAINING WORLD KNOWLEDGE IN LANGUAGE MODEL ALIGNMENT

https://arxiv.org/pdf/2312.09979.pdf

 

 

'건전한 학습생활 - 매일 논문 초록 읽기' 카테고리의 다른 글

[매일 논문 초록 읽기 : 50일차] Catastrophic forgetting을 방지하는 기법을 사용하지 않아도 BERT의 학습 능력은 뛰어남을 보여주는 조사  (0) 2023.12.29
[매일 논문 초록 읽기 : 49일차] 모델의 soft target probability를 사용하여 자기 자신의 학습을 진행하는 Self-Knowledge Distillation  (0) 2023.12.28
[매일 논문 초록 읽기 : 47일차] Code generation에 multi-agent를 결합하여 코드를 생성하고 검증하는 AgentCoder  (1) 2023.12.26
[매일 논문 초록 읽기 : 46일차] Text-to-SQL에 multi-agent를 적용시킨 MAC-SQL  (0) 2023.12.26
[매일 논문 초록 읽기 : 45일차] weak supervisor를 사용하여 큰 모델의 성능을 이끌어내는 weak-to-strong generalization  (0) 2023.12.25
'건전한 학습생활 - 매일 논문 초록 읽기' Related Articles more
Comments