[매일 논문 초록 읽기 : 54일차] MultiWOZ 2.0의 단점을 보완한 multi-domain dialogue dataset MultiWOZ 2.1

 MultiWOZ 2.0은 7개의 구별되는 도메인과 10,000개 이상의 대화를 포함하는 최근 공개된 멀티 도메인 대화 데이터셋이다. 매우 유용하고, 현재까지 이 분야에서 가장 큰 자원 중 하나지만, MultiWOZ 2.0은 몇가지 단점들을 가지고 있었다. 우선, 대화 상태 주석과 대화 발화에 상당한 노이즈가 있었고, 이는 상태를 추적하는 모델들의 성능에 부정적인 영향을 끼친다. 두번째로, 후속 연구는 원본 데이터셋에 사용자 대화 행위를 추가하였다. 이로 인해 같은 데이터에 약간의 수정을 가한 여러가지 버전의 데이터셋이 공존하게 되었다.

 이 작업에서, 우리는 MultiWOZ 2.1을 소개함으로써, 앞서 언급한 문제들을 해결한다. 노이즈가 존재하는 상태 주석을 수정하기 위해, 우리는 크라우드워커들을 통해 원본 데이터의 발화문을 기반으로 하여 상태와 발화에 대한 주석을 다시 달았다. 교정 작업 결과는 40%의 대화 턴에 서 32% 이상의 상태 주석에 변화가 발생하였다. 또한, 우리는 발화 내의 슬롯 값들을 데이터셋 ontology의 값들로 표준화 하는 방법을 통해 146개의 대화 발화를 수정하였다.

 

 두번째 문제를 해결하기 위해, 우리는 후속 연구들의 기여들을 MultiWOZ 2.1에 통합하였다. 따라서, 우리의 데이터셋은 사용자 대화 반응 뿐만 아니라 대화 상태 슬롯 별 다중 슬롯 설명 역시 포함하고 있다. 그리고 우리는 SOTA를 달성한 대화 상태 추적 모델들을 MultiWOZ 2.1 데이터셋에 대해 benchmark를 수행하고, 교정된 상태 주석에 대해 상태 추적 성능을 보인다.

 

 우리는 커뮤니티에 MultiWOZ 2.1을 공개적으로 배포하고, 이 데이터셋 자원이 미래에 다양한 대화 부분 문제들에 대해 더욱 효과적인 모델을 구축할 수 있도록 기원한다.

제목 : MultiWOZ 2.1: A Consolidated Multi-Domain Dialogue Dataset with State Corrections and State Tracking Baselines
https://arxiv.org/abs/1907.01669