[매일 논문 초록 읽기 : 47일차] Code generation에 multi-agent를 결합하여 코드를 생성하고 검증하는 AgentCoder

 자연어처리 (NLP)의 발전은 Transformer 기반의 대규모 언어모델 (LLM)의 발전으로 매우 가속화 되었다. 이 모델들은 특히 code generation 분야에서 NLP task를 혁신적으로 변화시켜, 개발자들이 소프트웨어를 제작할 때 보다 효율적으로 작업할 수 있도록 도움을 주었다.

 이러한 발전에도 불구하고, 효과적인 test case 생성 및 실행과  code snippet 생성을 균형있게 맞추는 것에 대한 도전은 여전히 존재한다. 이러한 문제들을 해결하기 위해, 이 논문은 특화된 agent들로 구성된 multi-agent 프레임워크를 사용한 새로운 해결 방법인 Multi-Agent Assistant Code Generation (AgentCoder)를 소개한다. 특화된 agent들은 각각 Programmer agent, Test designer agent, test executor agent이다.

 코딩을 하는 동안, programmer agent는 test executor agent의 피드백을 바탕으로 코드 생성과 수정에 집중한다. Test designer agent는 생성된 코드에 대해 test case를 생성하고, test executor agent는 생성된 코드에 대해 test case를 작동시키고 programmer에게 전달할 피드백을 작성한다. 이러한 협업 시스템은 강력한 code generation을 보장하고, 기존의 방법론들과 single-agent model의 한계를 보완한다.

 9개의 code generation model들과 12개의 강화된 접근법에 대한 광범위한 실험은 여러 benchmark에 대해 기존의 code generation 모델과 프롬프트 엔지니어링 기술 대비 AgentCoder의 우월한 성능을 보였다. 예를 들어, AgentCoder는 GPT-3.5를 사용하여 HumanEval-ET와 MBPP-ET에 대해 77.4%와 89.1% pass@1를 달성했고, 현재 SOTA를 달성한 모델의 경우 69.5%, 63.0%를 달성하였다.

pass@k : 모델이 생성한 답변 후보 중 상위 k개 중 정답이 포함되어 있는지 측정

제목 : AgentCoder: Multi-Agent-based Code Generation with Iterative Testing and Optimisation

https://arxiv.org/pdf/2312.13010.pdf