언유상씨의 건전한 취미생활

우리는 연구자들이 SOTA 모델들로 task-oriented dialogue system을 구축하고, end-to-end 평가를 수행하고, 시스템의 약점을 진단할 수 있는 오픈소스 툴킷인 ConvLab-2를 소개한다. ConvLab의 후속작으로, ConvLab-2는 ConvLab의 프레임워크를 이어 받았지만, 더 강력한 대화 모델들을 포함하고 있고, 더 많은 데이터셋을 지원한다. 게다가, 우리는 연구자들이 대화 시스템을 진단하는 것을 돕기 위해 분석 도구와 대화형 도구를 개발하였다. 분석 도구들은 풍부한 통계 기능을 제공하고, 시뮬레이션 대화에서 발생하는 흔한 실수들을 요약해준다. 이는 에러 분석과 시스템 향상을 촉진한다. 대화형 도구들은 개발자들이 시스템과 상호작용하고 각 시스템 구성 요소의 outpu..

이 논문은 우리의 과제 지향 대화 시스템인 UBAR를 소개한다. UBAR는 대화 세션 수준에서 과제 지향 대화를 모델링 할 수 있도록 설계되었다. 구체적으로, UBAR는 각 턴마다 발생하는 사용자 발화, belief state, 데이터베이스 결과, system act, system response으로 구성된 전체 대화 세션에 대해 대규모 사전학습 단방향 언어모델인 GPT-2를 fine-tuning함으로써 얻을 수 있다. 추가적으로, UBAR는 사용자 발화, belief state, system act, system response와 같이 생성된 모든 내용에 대한 접근을 가진 dialog context에서 더 현실적인 설정으로 평가되었다. MultiWOZ 데이터셋에서 진행한 실험의 결과는 UBAR가 res..

교육에서의 핵심 도전은 학생들에게 개인화된 교육 경험을 제공하는 것이다. 이 논문은 그것을 인간 교육 전문가를 모방하는 대화 기반 지능 튜터링 시스템 (ITS)의 개발을 통해 해결하려고 한다. ITS는 질문을 던지고, 학생의 답변을 평가하며, 힌트를 제공하고, 심지어는 학생의 참여를 독려하기 위해 대화를 나눈다. 우리는 튜터링을 지원하기 위한 평가 라벨과 핵심 문장이 있는 실생활에서 발생하는 교육적인 시나리오들을 시뮬레이션 하기 위해 대화 기반 독해 튜터링 데이터셋 (DIRECT)를 제작하였다. DIRECT 데이터셋은 대규모 영어 독해 데이터셋인 RACE에 기반한다. 게다가, 우리는 튜터링 작업을 모델링하기 위한 신경 파이프라인을 제안하고, 인간 평가를 포함한 결과에 대한 포괄적인 분석을 수행하였다. 결..

대규모 사전학습 언어모델은 여러가지 NLP task들에서 SOTA를 달성하는데 도움을 주었다. 그럼에도 불구하고, 연속적인 task들을 학습하는 양이 늘어남에 따라 지식을 잃어버리는 문제를 겪는다. 이러한 문제를 해결하기 위해, sparse experience replay와 local adaptation을 통해 현존하는 모델들을 강화했고, 이는 만족스러운 성능을 제공하였다. 하지만, 이 논문에서 우리는 BERT와 같은 사전학습 언어모델이 sparse experience replay를 하지 않아도 순차적으로 학습할 수 있는 잠재력을 가졌다는 것을 발견하였다. BERT가 이전에 학습한 지식을 유지할 수 있는 능력이 있다는 것을 검증하기 위해, 우리는 BERT의 parameter를 고정시키고 single-la..

딥러닝이 NLP의 핵심이 됨에 따라, 많은 딥러닝 모델들은 다양한 NLP task에서 눈에 띄는 성능을 달성하였고, 몇몇 모델은 인간을 뛰어넘는 성능을 달성하였다. 이러한 높은 성능은 딥러닝 모델의 효율적인 지식 표현으로 달성한 것이라고 설명할 수 있다. 많은 방법론들이 더 효율적인 표현을 학습시키기 위해 제안되었고, 사전학습된 심층 신경망으로부터의 지식증류는 우리가 다른 신경망을 학습시킬 때 soft target으로부터 더 많은 정보를 사용할 수 있다는 것을 제안한다. 이 논문에서, 우리는 훈련 모델 자체의 soft target 확률에 기반한 새로운 지식 증류 방법론인 Self-Knowledge Distillation을 제안한다. 여기서 다중 모드 정보는 softmax layer 바로 아래애 있는 wo..

Supervised fine-tuning (SFT)는 LLM을 사람의 지시문과 LLM을 정렬시키고, downstream task에 대해 LLM의 능력을 향상시키는데 중요한 단계이다. 광범위한 downstream task들에 대해 모델을 정렬시키거나, 특정 task에 대한 성능을 향상시키기 위해 fine-tuning data를 증가시키는 방법이 해결책으로 부상하였다. 하지만, 우리는 지시 데이터를 크게 늘리는 것은 LLM이 이전에 저장하고 있었던 정보들을 잃을 수 있다는 것을 발견하였다. 즉, 지식을 잊는 것이다. 이 논문에서, 우리는 이러한 문제를 해결하기 위해 LoRAMoE를 소개한다. LoRAMoE는 MoE의 plugin 버전이다. plugin의 형태는 학습을 진행하는 과정에서 backbone 모델을..

자연어처리 (NLP)의 발전은 Transformer 기반의 대규모 언어모델 (LLM)의 발전으로 매우 가속화 되었다. 이 모델들은 특히 code generation 분야에서 NLP task를 혁신적으로 변화시켜, 개발자들이 소프트웨어를 제작할 때 보다 효율적으로 작업할 수 있도록 도움을 주었다. 이러한 발전에도 불구하고, 효과적인 test case 생성 및 실행과 code snippet 생성을 균형있게 맞추는 것에 대한 도전은 여전히 존재한다. 이러한 문제들을 해결하기 위해, 이 논문은 특화된 agent들로 구성된 multi-agent 프레임워크를 사용한 새로운 해결 방법인 Multi-Agent Assistant Code Generation (AgentCoder)를 소개한다. 특화된 agent들은 각각 ..

대규모 언어모델 (LLM)을 사용한 Text-to-SQL 방법론의 발전은 눈에 띄는 성능을 보였다. 그럼에도 불구하고, 이러한 접근법들은 데이터베이스가 확장되거나, user의 쿼리가 뒤얽히거나, SQL의 결과값이 잘못된 상황을 다루는데 있어 어려움을 계속 마주하고 있다. 이러한 문제점을 해결하기 위해서, 우리는 LLM을 기반으로 한 다중 에이전트 협력 Text-to-SQL 프레임워크인 MAC-SQL을 제안한다. 이 프레임워크는 세명의 agent로 구성되어 있다. 1. Selector : 방대한 데이터베이스들을 압축하고 유저의 질문에 대해 연관성 있는 테이블을 보존한다. 2. Decomposer : 유저의 질문을 보다 직관적인 세부 질문들로 분해하고, 그것을 절차대로 해결해 나간다. 3. Refiner :..