구글 연구진, 'AI 에이전트끼리 정보가 엇갈릴 때' 평가하는 벤치마크 공개…최신 모델도 마무리 작업 58% 넘게 실패
여러 AI 에이전트가 함께 컴퓨터 작업을 할 때 생기는 '충돌'을 평가하는 벤치마크가 나왔다. 사전공개 논문 저장소 arXiv에 올라온 논문(arXiv:2610.19128)에 따르면, 구글 소속 Yuxiang Lai 등 연구진 9명은 충돌 상황을 자동으로 만들고 결과를 검증할 수 있는 프레임워크 'CLASHarness(Conflict-Loaded Agent Scenario Harness)'를 내놨다. 여러 단계로 이어지는 과제 600개로 구성된 벤치마크도 함께 공개했다. 최신 모델 15종을 평가해 보니, 가장 앞선 모델들도 작업을 끝내는 마무리 동작의 58% 이상에서 실패했다.
이 연구는 비전-언어 모델(VLM)이 멀티에이전트 시스템에 들어가 복잡한 컴퓨터 작업을 자동으로 처리하는 일이 늘어난 상황에서 나왔다. 연구진은 지금까지의 벤치마크가 대부분 정보가 일관되고 에이전트끼리 서로 협조하는 환경을 전제로 했다고 지적했다. 실제 협업은 그렇지 않다. 동료 에이전트나 하위 에이전트가 이미 지난 상태를 보고하기도 하고, 서로 맞지 않는 지시를 내리기도 한다. 공유 권한이나 파일을 놓고 경쟁하는 일도 흔하다. 그래서 에이전트는 다른 에이전트의 결과를 그대로 믿지 말고 실제 환경에서 사실을 직접 확인해야 한다.
이런 충돌 해결 능력은 평가하기도 어렵다. 사람이 과제를 하나씩 만들면 복잡한 시스템 전반으로 넓히기 힘들다. 대규모 언어모델(LLM)에 맡기면 시나리오가 처음 설정에서 벗어나거나, 정답이 문제에 드러나거나, 충족할 수 없는 채점 기준이 생기는 문제가 있다고 연구진은 설명했다.
CLASHarness는 계층적 시나리오 설계에 8단계 검증 파이프라인을 결합해 이 문제를 풀었다. 과제 화면을 만들기 전에 정답을 가르는 핵심 시각 정보를 먼저 정해 두고, 실제로 실행해 본 기준 작업 경로(참조 궤적)를 바탕으로 코드 기반 채점기와 의미 기반 채점기를 함께 만든다. 연구진은 이렇게 하면 모든 과제가 처음부터 풀 수 있는 형태로 만들어진다고 밝혔다.
15개 모델을 평가한 결과 연구진은 세 가지 병목을 짚었다. 첫째, 하위 에이전트의 보고가 실제 환경과 다를 때 성능이 낮은 모델은 잘못된 정보를 그대로 따랐다. 성능이 높은 모델은 화면 속 시각 증거를 살펴 사실을 확인했다. 둘째, 충돌을 발견하는 것보다 해결하는 것이 훨씬 어려웠다. 에이전트는 불일치는 비교적 잘 찾아냈지만, 시스템 상태를 직접 바로잡아야 하는 단계에서는 과제 성공률이 크게 떨어졌다. 셋째, 에이전트 간 조율 절차는 모든 모델에 공통된 약점이었다. 최신 모델들도 마무리 동작의 58% 이상을 실패했는데, 공유 잠금을 풀지 않거나 다음 에이전트에게 작업을 넘기지 않는 경우가 많았다.
이 결과는 현재 AI 에이전트가 맡은 작업 하나는 해내더라도, 여러 에이전트가 함께 일하는 환경에서 뒷정리와 인수인계까지 책임지는 능력은 아직 부족하다는 점을 보여준다. 공유 파일의 잠금이 풀리지 않거나 작업이 넘어가지 않으면 다음 단계 전체가 멈출 수 있다. 실제 업무에 멀티에이전트 시스템을 들이려는 기업이 눈여겨볼 대목이다. 연구진은 CLASHarness가 신뢰할 수 있는 멀티에이전트 시스템을 만드는 데 필요한, 확장 가능하고 검증 가능한 기반이 될 것이라고 밝혔다.
이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 25회를 받았다. 다만 동료평가를 거치지 않은 사전공개 논문이다. 공개된 초록에는 평가한 15개 모델의 이름과 모델별 점수가 나와 있지 않아 확인되지 않았다. 이 기사는 저자들이 공개한 초록을 바탕으로 정리했다.
