"부분 점수는 높지만 결론까지는 못 간다"…상하이 AI 연구소, 물리 연구 수행하는 AI 에이전트 평가 벤치마크 공개
AI 에이전트는 물리 연구의 세부 과제를 상당 부분 해낸다. 하지만 근거를 갖춘 결론까지 연구를 끝내는 비율은 아직 낮다. 중국 상하이 AI 연구소(Shanghai AI Laboratory) 소속 야오지아 마오(Yijia Mao) 등 연구진 17명은 사전공개 논문 저장소 arXiv에 논문 「From Research Goals to Scientific Closure: Evaluating Agents Through Evidence-Supported Physics Research」(arXiv:2610.21767)를 공개했다. 저자들이 공개한 초록에 따르면 이 논문은 최신 대형언어모델(LLM) 7종을 평가했다. 가장 높은 평균 점수를 받은 모델조차 연구 질문을 완전히 해결한 비율은 3분의 1에 못 미쳤다.
연구진이 던진 질문은 "AI 에이전트가 근거가 탄탄한 결론으로 이어지는 과학 조사를 스스로 짤 수 있는가"다. 이를 따져보려고 만든 것이 벤치마크 'PhysClosureBench'다. 강한 레이저장 물리(strong-field), 아토초(100경분의 1초) 물리와 그 인접 분야에서 전문가 검증을 거친 연구 과제 50개로 구성됐다. 과제마다 연구 목표와 반드시 지켜야 할 과학적 제약 조건이 주어진다. 조사를 어떻게 설계하고, 답에 필요한 증거를 어떻게 만들고 검증할지는 에이전트가 직접 정해야 한다. 정해진 답을 고르는 문제 풀이형 평가와 달리, 연구를 처음부터 끝까지 꾸려가는 능력을 보겠다는 설계다.
평가는 두 축으로 이뤄진다. 20개 항목으로 된 '아토믹 스코어(Atomic Score)'는 개별 단계에서 얼마나 과학적 성과를 냈는지를 잰다. '리서치 클로저(Research Closure)'는 RC0부터 RC4까지 다섯 단계로 나뉘며, 조사가 주어진 연구 질문을 얼마나 완결했는지를 판정한다. 기준은 결론에 꼭 필요한 증거 요건과 적용 범위 조건을 충족했는지다. RC4는 연구가 완전히 닫힌 상태를 뜻한다.
결과를 보면 두 지표 사이의 간극이 뚜렷했다. 7개 모델 가운데 'Claude-Opus-5'가 평균 아토믹 스코어 6.29점(10점 만점)으로 가장 높았지만, RC4에 도달한 시도는 전체의 32.7%에 그쳤다. 벤치마크 전체로 보면 아토믹 스코어 8점 이상을 받은 시도 중 36.2%가 RC4에 이르지 못했다. 세부 점수가 높아도 연구가 완결된다는 보장은 없다는 뜻이다.
결과가 들쭉날쭉하다는 점도 드러났다. 연구진은 같은 과제를 세 번씩 돌렸다. 7개 모델 모두 세 번 중 한 번이라도 RC4에 도달한 과제보다, 세 번 모두 RC4에 도달한 과제가 상당히 적었다. 한 번 성공한 과제도 다시 돌리면 같은 수준으로 마무리하지 못하는 경우가 많았다는 얘기다.
연구진은 개별 사례도 분석해 연구가 완결되지 못하는 경로를 짚었다. 에이전트가 자신이 만든 결과를 잘못 해석하거나, 물리적으로 어디까지 적용할 수 있는지에 대한 한계를 해소하지 못한 채 결론을 내리면 연구가 불완전하게 끝났다. 계산이나 시뮬레이션 자체는 해내더라도 그 결과가 질문에 대한 충분한 답인지 판단하는 단계에서 막힌다는 것이다.
연구진은 이번 결과가 AI 에이전트의 국소적인 과학적 성취와 완전한 연구 완결 능력 사이에 지속적인 격차가 있음을 보여준다고 결론지었다. AI를 '과학자 보조'를 넘어 연구 주체로 쓰려는 시도가 늘고 있다. 이 연구는 단계별 점수만으로 연구 능력을 평가하면 실제 역량을 과대평가할 수 있다는 점을 수치로 보여줬다.
이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 22회를 받았다. 동료평가를 거치지 않은 사전공개 논문이며, 원문은 arXiv(https://arxiv.org/abs/2610.21767)에 공개돼 있다.
