[매일 논문 초록 읽기 : 46일차] Text-to-SQL에 multi-agent를 적용시킨 MAC-SQL

 대규모 언어모델 (LLM)을 사용한 Text-to-SQL 방법론의 발전은 눈에 띄는 성능을 보였다. 그럼에도 불구하고, 이러한 접근법들은 데이터베이스가 확장되거나, user의 쿼리가 뒤얽히거나, SQL의 결과값이 잘못된 상황을 다루는데 있어 어려움을 계속 마주하고 있다.

 이러한 문제점을 해결하기 위해서, 우리는 LLM을 기반으로 한 다중 에이전트 협력 Text-to-SQL 프레임워크인 MAC-SQL을 제안한다.

이 프레임워크는 세명의 agent로 구성되어 있다.
1. Selector : 방대한 데이터베이스들을 압축하고 유저의 질문에 대해 연관성 있는 테이블을 보존한다.
2. Decomposer : 유저의 질문을 보다 직관적인 세부 질문들로 분해하고, 그것을 절차대로 해결해 나간다.
3. Refiner : 잘못된 SQL 쿼리에 대해 검증과 수정을 맡는다.

 우리는 BIRD와 Spider라는 2개의 Text-to-SQL 데이터셋에 대해 실험을 진행하였고, BIRD test set에서 59.59%를 달성하며 SOTA를 달성하였다.

 게다가, 우리는 Code Llama 7B를 기반으로 하여 BIRD와 Spider의 데이터들로 instruction finetuning을 진행한 모델인 SQL-Llama를 오픈소스로 제공한다. 하지만, GPT-4 모델과 비교하였을 때, 아직 발전 가능성이 있음을 확인하였다.

 

 우리의 코드와 데이터는 다음의 주소에서 확인할 수 있다. https://github.com/wbbeyourself/MAC-SQL

제목 : MAC-SQL: Multi-Agent Collaboration for Text-to-SQL

https://arxiv.org/abs/2312.11242