[매일 논문 초록 읽기 : 59일차] 언어모델이 긴 문맥을 제대로 활용하지 못한다는 내용의 논문

 최근 언어모델이 input으로 긴 문맥을 입력받을 수 있는 능력을 가짐에도 불구하고, 언어모델이 더 긴 문맥을 얼마나 잘 활용하는지에 대해서는 상대적으로 잘 알려져 있지 않다. 우리는 입력된 문맥과 관련된 정보를 식별하는 능력을 요하는 2가지 task (multi-document question answering, key-value retrieval)를 통해 언어모델의 성능을 분석한다.

 우리는 관련된 정보의 위치가 변경될 때 성능이 많이 떨어짐을 발견했다. 이는 현재의 언어모델들이 입력 받은 긴 문맥의 정보를 견고하게 활용하지 못함을 보인다. 특히, 우리는 관련된 내용이 입력된 문맥의 맨 앞 또는 맨 뒤에 존재할 때 성능이 종종 매우 높게 나오는 것을 발견하였고, 긴 문맥의 중간에 있을 때 성능이 상당히 떨어짐을 발견하였다. 이는 명시적으로 긴 문맥을 위한 모델들에게도 해당된다.

 우리의 분석은 언어모델이 그들이 입력 받은 긴 문맥을 사용하는 방법에 대해 더 나은 이해를 제공하고, 향후 긴 문맥을 입력받는 언어모델들을 위한 새로운 평가 프로토콜을 제공한다.

제목 : Lost in the Middle: How Language Models Use Long Contexts
https://arxiv.org/abs/2307.03172