HEELO, 프런티어 AI 에이전트의 실제 업무 완료율 끌어올리는 하네스 프레임워크 공개
AI 에이전트가 필요한 자원을 찾아놓고도 실제 업무에 적용하지 못하는 문제를 겨냥한 하네스 엔지니어링 프레임워크 'HEELO'가 나왔다. Haibo Jin 등 연구자 14명이 arXiv에 공개한 논문 「The Last Mile to the Real World: Agent-Native Primitives as Reusable Building Blocks for Solving Real-World Tasks」(arXiv:2611.07461)의 초록에 따르면, HEELO는 Terminal-Bench 4.0에서 GPT-5.6 Sol과 Codex 조합의 과제 해결률을 37.3%에서 55.5%로 높였다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 25회를 받았다.
연구진은 최신 프런티어 모델이 전용 하네스와 함께 쓰여도 실제 업무형 벤치마크에서는 아직 성적이 낮다는 점에서 출발했다. 초록에 따르면 Terminal-Bench 4.0에서 GPT-5.6 Sol과 Codex 조합은 과제의 37.3%, Claude Opus 5와 Claude Code 조합은 51.8%를 해결했다. 연구진은 에이전트가 자원에 접근하는 데까지는 성공하지만 그 자원을 실제로 적용하는 단계에서 실패한다고 분석하고, 이 구간을 '현실 세계로 가는 마지막 1마일(last mile)'이라고 불렀다. 기존 방식은 자원을 손 닿는 곳에 가져다 둘 뿐 그것을 다루는 능력은 호출하는 쪽에 맡기기 때문에, 하네스마다 같은 능력을 매번 새로 만들어야 한다는 것이다.
이에 대한 해법으로 연구진은 '에이전트 네이티브 프리미티브(agent-native primitives)'라는 개념을 내놨다. 자원마다 전담 LLM을 붙여, 그 LLM이 맥락에 맞게 자원을 적용하고 다른 프리미티브와 소통하도록 만든 재사용 단위다. HEELO(Harness Engineering around Evolving Agent-Native Primitives for the Last Mile to Real-WOrld Tasks)는 이런 프리미티브를 모은 라이브러리에서 과제별 하네스를 조립한다. 과제에 필요한 프리미티브를 골라 과제 전용 그래프로 엮고, 실행 결과를 환경에서 얻은 근거로 검증한다. 실패하면 원인으로 지목된 프리미티브를 고치고, 새로 만들거나 개선한 프리미티브는 검증을 통과한 뒤에 라이브러리에 넣는다. 하네스가 쓰일수록 부품이 다듬어지는 구조다.
연구진은 과제 유형별로 하나씩, 모두 여덟 개의 프리미티브 계열을 만들어 20개가 넘는 벤치마크에서 평가했다. 개발용 Dev-Primitives는 같은 백본 모델에서 Terminal-Bench 4.0 해결률을 Codex 기준 37.3%에서 55.5%로 끌어올렸다. 과제마다 조합한 Harness Primitives는 Terminal-Bench 2.0 Pass@1을 기본 하네스의 60.0%에서 72.2%로 높였다. 도구 사용을 맡는 Tool Primitives는 ToolBench 통과율을 55.8%에서 75.1%로, 탐색을 맡는 Navigation Primitives는 GAIA-Text-103 정확도를 45.6%에서 58.3%로 각각 개선했다.
실제 업무 환경에 가까운 시험에서도 차이가 컸다. 연구진이 운영하는 heelo.dev 플랫폼의 실제 과제 46개에서 Claude Opus 5.5와 Claude Code, GPT-6.1 Sol과 Codex는 각각 단독으로 9개씩만 완료했다. 그러나 연구진의 MCP 서버를 통해 HEELO에 연결하자 완료 과제는 각각 39개, 35개로 늘었다. 완료한 과제 하나당 걸린 시간은 1.9배, 2.3배 줄었고 비용은 1.55배 낮아졌다. MCP 서버로 붙이는 방식이라 기존 상용 에이전트 도구를 바꾸지 않고 연결해 쓸 수 있다는 점도 눈에 띈다.
이번 결과는 모델 자체를 키우는 것과 별개로, 모델을 감싸는 하네스를 어떻게 설계하느냐에 따라 같은 모델로도 실제 업무 성과가 크게 달라질 수 있음을 보여준다. 다만 이 논문은 동료 평가를 거치지 않은 사전 공개 논문이며, 위 수치는 저자들이 공개한 초록 내용을 기준으로 정리한 것이다.
앞서 보도한 기사
GPT-6 Rosalind, 오픈AI 생명과학 연구 특화 모델 출시… 승인 조직만 이용 가능
