Vals CyberOffense 벤치마크서 오픈 모델 Deepseek, GPT-6 Sol 바짝 추격
The Decoder는 최근 AI 에이전트가 사람 도움 없이 실제와 비슷한 기업 네트워크에 침투할 수 있다는 Vals AI의 평가 결과를 보도했다. 'Vals CyberOffense' 벤치마크는 가상 기업 네트워크를 만든 뒤, 각 에이전트에게 공개 웹 주소 하나만 주고 격리된 공격용 머신에서 혼자 작업하게 했다.
가장 높은 점수는 OpenAI가 접근을 제한해 운영하는 사이버 프로그램 'Daybreak'의 GPT-6 Sol이 받았다. 목표의 80.8%를 달성했다. 누구나 내려받을 수 있는 오픈 웨이트 모델 Deepseek V4.1 Flash 1017은 72.8%로 뒤를 이었다. 1회 실행 비용은 GPT-6 Sol이 약 22달러, Deepseek이 약 3달러였다. 더 어려운 'Lighthouse' 테스트에서 Daybreak는 31개 목표 중 27개를 3시간 안에 달성했고, Deepseek은 10분의 1 비용으로 21개를 달성했다. Deepseek은 처음 2,500만 토큰 동안 아무 성과를 내지 못하다가 1억 토큰을 넘긴 뒤에야 대부분의 진전을 보였다. Vals 연구진은 모델 가중치가 공개되면 어떤 제공자도 그 사용을 통제할 수 없다고 설명했다.
이 결과는 영국 AI안전연구소(AISI)가 7월에 내놓은 분석과도 맞아떨어진다. AISI는 사이버 능력에서 오픈 모델과 폐쇄형 최상위 모델의 격차가 2025년 대부분 기간 6~10개월이었으나 4~7개월로 줄었다고 평가했다.
앞서 보도한 기사
GPT-6 Rosalind, 오픈AI 생명과학 연구 특화 모델 출시… 승인 조직만 이용 가능
