[매일 논문 초록 읽기 : 9일차] LLM이 학습한 사회적 편향의 리스크를 낮출 수 있는 데이터 셋

LLM은 real world 데이터로부터 자연어 생성 능력 뿐만 아니라 여러 그룹 간의 사회적 편향도  학습한다. 이것은 LLM을 기반으로 한 어플리케이션들을 배포하는데 치명적인 위험을 초래한다. 기존의 연구들과 자원들은 언어와 문화의 차이 때문에 한국에서 쉽게 적용할 수 없다. 두가지 요소는 특정 그룹과 편향에 큰 영향을 미친다. 이러한 한계는 LLM을 효과적이고 안전하게 배포하기 위해 현지화된 사회적 편향 데이터셋을 요구한다. 이를 위해, 우리는 15개의 카테고리에서 72개의 인구통계학적 그룹을 포함하는 34K 쌍의 한국어 문장으로 구성된 새로운 사회적 편향 데이터 셋인 KOSBI를 제시한다.  우리는 필터 기반 제거를 통해 HyperCLOVA (30B, 82B), GPT-3에서 평균 16.47%p의 사회적 편향 감소를 발견했다.

 

제목 : KoSBi: A Dataset for Mitigating Social Bias Risks Towards Safer Large Language Model Application

https://arxiv.org/abs/2305.17701