언유상씨의 건전한 취미생활

MultiWOZ 2.0은 7개의 구별되는 도메인과 10,000개 이상의 대화를 포함하는 최근 공개된 멀티 도메인 대화 데이터셋이다. 매우 유용하고, 현재까지 이 분야에서 가장 큰 자원 중 하나지만, MultiWOZ 2.0은 몇가지 단점들을 가지고 있었다. 우선, 대화 상태 주석과 대화 발화에 상당한 노이즈가 있었고, 이는 상태를 추적하는 모델들의 성능에 부정적인 영향을 끼친다. 두번째로, 후속 연구는 원본 데이터셋에 사용자 대화 행위를 추가하였다. 이로 인해 같은 데이터에 약간의 수정을 가한 여러가지 버전의 데이터셋이 공존하게 되었다. 이 작업에서, 우리는 MultiWOZ 2.1을 소개함으로써, 앞서 언급한 문제들을 해결한다. 노이즈가 존재하는 상태 주석을 수정하기 위해, 우리는 크라우드워커들을 통해 원..

라이브러리와 충돌하여 발생하는 오류이므로 python의 버전을 확인하고, 3.8보다 낮은 python을 다시 설치하자.

우리는 연구자들이 SOTA 모델들로 task-oriented dialogue system을 구축하고, end-to-end 평가를 수행하고, 시스템의 약점을 진단할 수 있는 오픈소스 툴킷인 ConvLab-2를 소개한다. ConvLab의 후속작으로, ConvLab-2는 ConvLab의 프레임워크를 이어 받았지만, 더 강력한 대화 모델들을 포함하고 있고, 더 많은 데이터셋을 지원한다. 게다가, 우리는 연구자들이 대화 시스템을 진단하는 것을 돕기 위해 분석 도구와 대화형 도구를 개발하였다. 분석 도구들은 풍부한 통계 기능을 제공하고, 시뮬레이션 대화에서 발생하는 흔한 실수들을 요약해준다. 이는 에러 분석과 시스템 향상을 촉진한다. 대화형 도구들은 개발자들이 시스템과 상호작용하고 각 시스템 구성 요소의 outpu..

이 논문은 우리의 과제 지향 대화 시스템인 UBAR를 소개한다. UBAR는 대화 세션 수준에서 과제 지향 대화를 모델링 할 수 있도록 설계되었다. 구체적으로, UBAR는 각 턴마다 발생하는 사용자 발화, belief state, 데이터베이스 결과, system act, system response으로 구성된 전체 대화 세션에 대해 대규모 사전학습 단방향 언어모델인 GPT-2를 fine-tuning함으로써 얻을 수 있다. 추가적으로, UBAR는 사용자 발화, belief state, system act, system response와 같이 생성된 모든 내용에 대한 접근을 가진 dialog context에서 더 현실적인 설정으로 평가되었다. MultiWOZ 데이터셋에서 진행한 실험의 결과는 UBAR가 res..

교육에서의 핵심 도전은 학생들에게 개인화된 교육 경험을 제공하는 것이다. 이 논문은 그것을 인간 교육 전문가를 모방하는 대화 기반 지능 튜터링 시스템 (ITS)의 개발을 통해 해결하려고 한다. ITS는 질문을 던지고, 학생의 답변을 평가하며, 힌트를 제공하고, 심지어는 학생의 참여를 독려하기 위해 대화를 나눈다. 우리는 튜터링을 지원하기 위한 평가 라벨과 핵심 문장이 있는 실생활에서 발생하는 교육적인 시나리오들을 시뮬레이션 하기 위해 대화 기반 독해 튜터링 데이터셋 (DIRECT)를 제작하였다. DIRECT 데이터셋은 대규모 영어 독해 데이터셋인 RACE에 기반한다. 게다가, 우리는 튜터링 작업을 모델링하기 위한 신경 파이프라인을 제안하고, 인간 평가를 포함한 결과에 대한 포괄적인 분석을 수행하였다. 결..

대규모 사전학습 언어모델은 여러가지 NLP task들에서 SOTA를 달성하는데 도움을 주었다. 그럼에도 불구하고, 연속적인 task들을 학습하는 양이 늘어남에 따라 지식을 잃어버리는 문제를 겪는다. 이러한 문제를 해결하기 위해, sparse experience replay와 local adaptation을 통해 현존하는 모델들을 강화했고, 이는 만족스러운 성능을 제공하였다. 하지만, 이 논문에서 우리는 BERT와 같은 사전학습 언어모델이 sparse experience replay를 하지 않아도 순차적으로 학습할 수 있는 잠재력을 가졌다는 것을 발견하였다. BERT가 이전에 학습한 지식을 유지할 수 있는 능력이 있다는 것을 검증하기 위해, 우리는 BERT의 parameter를 고정시키고 single-la..

딥러닝이 NLP의 핵심이 됨에 따라, 많은 딥러닝 모델들은 다양한 NLP task에서 눈에 띄는 성능을 달성하였고, 몇몇 모델은 인간을 뛰어넘는 성능을 달성하였다. 이러한 높은 성능은 딥러닝 모델의 효율적인 지식 표현으로 달성한 것이라고 설명할 수 있다. 많은 방법론들이 더 효율적인 표현을 학습시키기 위해 제안되었고, 사전학습된 심층 신경망으로부터의 지식증류는 우리가 다른 신경망을 학습시킬 때 soft target으로부터 더 많은 정보를 사용할 수 있다는 것을 제안한다. 이 논문에서, 우리는 훈련 모델 자체의 soft target 확률에 기반한 새로운 지식 증류 방법론인 Self-Knowledge Distillation을 제안한다. 여기서 다중 모드 정보는 softmax layer 바로 아래애 있는 wo..

Supervised fine-tuning (SFT)는 LLM을 사람의 지시문과 LLM을 정렬시키고, downstream task에 대해 LLM의 능력을 향상시키는데 중요한 단계이다. 광범위한 downstream task들에 대해 모델을 정렬시키거나, 특정 task에 대한 성능을 향상시키기 위해 fine-tuning data를 증가시키는 방법이 해결책으로 부상하였다. 하지만, 우리는 지시 데이터를 크게 늘리는 것은 LLM이 이전에 저장하고 있었던 정보들을 잃을 수 있다는 것을 발견하였다. 즉, 지식을 잊는 것이다. 이 논문에서, 우리는 이러한 문제를 해결하기 위해 LoRAMoE를 소개한다. LoRAMoE는 MoE의 plugin 버전이다. plugin의 형태는 학습을 진행하는 과정에서 backbone 모델을..