HiSTEVE 1.0, 키보드·마우스로 마인크래프트 하는 AI 에이전트…텐센트 연구진 공개
텐센트 연구진이 사람처럼 화면만 보고 키보드와 마우스를 직접 조작해 마인크래프트를 오래 플레이하는 인공지능(AI) 에이전트 'HiSTEVE 1.0'을 내놨다. 논문 사전공개 사이트 arXiv에 올라온 논문 「HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games」에 따르면, 이 에이전트는 MineStudio Bench에서 85.0%를 기록했고 OpenHA에서는 평균 성공률 37.4%를 냈다. 연구진은 이를 단일 작업(atomic task) 성능에서 최고 수준(SOTA)이라고 밝혔다. 논문은 Zecong Tang 등 텐센트 소속 연구자 6명이 함께 썼다.
연구진은 오픈월드 게임에서 사람처럼 움직이는 가상 에이전트를 오래된 연구 목표로 꼽는다. 이를 이루려면 두 능력이 함께 필요하다. 하나는 여러 단계로 이어지는 긴 과제를 스스로 끌고 가는 '장기 자율성'이고, 다른 하나는 사람이 쓰는 입력 장치를 그대로 안정적으로 다루는 '네이티브 인터페이스 제어'다. 마인크래프트는 세계가 절차적으로 생성되는 오픈월드여서 두 능력을 함께 시험하기에 알맞다. 논문은 기존 에이전트들이 둘 중 하나에 치우쳤다고 지적한다. 화면을 보고 직접 조작하는 시각-운동 제어는 할 수 있어도 긴 과제를 혼자 해내지 못하거나, 반대로 고수준 계획은 세우지만 실행은 게임 환경의 API나 미리 정해 둔 기술에 맡기는 식이었다는 것이다. HiSTEVE는 이 간극을 메우려고 설계됐다.
HiSTEVE는 계층형 VLA(시각-언어-행동) 에이전트에 '능력 인지형 하네스'를 결합한 구조다. 위쪽 조율 단계에서는 구조화된 메모리가 진행 상황을 기록하고, VLM(시각-언어 모델) 플래너가 VLA가 해낼 수 있는 범위 안에서 다음 하위 작업을 고른다. 하위 작업을 끝냈는지 정확히 판단하기 위해 '정책 결합형 작업 완료 상태 감지기'도 넣었다. 이 감지기는 VLA 정책의 맥락을 함께 보고 작업이 끝났을 가능성이 있다는 신호를 보낸다.
아래쪽 제어 단계에서는 VLA 하나가 모든 하위 작업을 맡는다. 주변 상황은 화면 영상으로만 파악하고, 행동은 실제 키보드·마우스 입력으로 낸다. GUI 화면을 다루는 조작과 그렇지 않은 조작은 성격이 달라 서로 간섭할 수 있는데, 연구진은 이를 줄이려고 상황별로 나뉜 RMSNorm 분기를 두고 마우스 이동을 나타내는 토큰 임베딩도 따로 만들었다. 학습은 세계 지식 주입, 모방학습, 환경 피드백을 활용한 강화학습의 세 단계로 진행했다. 연구진은 이 과정으로 동작의 신뢰성을 높이고 실수했을 때 스스로 회복하는 능력을 키웠다고 설명했다.
벤치마크 점수 말고도 연구진은 장기 과제 수행 능력을 강조했다. HiSTEVE는 아무것도 없는 상태에서 시작해 철 곡괭이를 만드는 과제를 사람 플레이어처럼 끝까지 해냈다. 철 곡괭이는 재료를 모으고 도구를 단계별로 만들어 가야 얻을 수 있는 아이템이어서, 계획과 조작이 오랫동안 함께 맞물려야 한다. 별도의 게임 API 없이 사람과 같은 입력 방식으로 이런 과제를 해냈다는 점이 기존 접근과 다르다.
이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 25회를 받았다. 논문 번호는 arXiv:2610.31162이며, 동료 평가를 거치지 않은 사전공개 논문이다.
