오픈AI, 에이전트 API에 문서 작성 기능·'울트라패스트' 모드 추가하고 12시간 프롬프트 캐싱 도입
오픈AI가 OpenAI API 개발자 문서의 공식 변경 이력에 10월 16일부터 20일까지 새 항목 2건을 올렸다. 에이전트 API(v1/agents)에는 스프레드시트·프레젠테이션·워드 문서를 만들고 고치는 기능과 토큰 생성 속도를 높이는 '울트라패스트(Ultrafast)' 모드가 추가됐다. 리스폰스 API(v1/responses)에는 프롬프트 캐시를 12시간 동안 유지하는 옵션이 생겼다. 이번 업데이트는 에이전트가 할 수 있는 일, 응답 속도, 비용 세 가지를 함께 손본 것이다.
먼저 10월 16일 항목을 보면, 오픈AI가 에이전트 API에서 제공하는 샌드박스에 '아티팩트 SDK(Artifact SDK)'와 문서 작업용 스킬이 들어갔다. 샌드박스는 오픈AI가 직접 운영하는 실행 환경으로, 에이전트는 이 안에서 스프레드시트와 프레젠테이션, 워드 문서를 새로 만들거나 수정할 수 있다. 지금까지 에이전트가 주로 텍스트 답변이나 코드를 내놓았다면, 이제는 업무에서 곧바로 쓰는 문서 파일까지 결과물로 내놓을 수 있다는 뜻이다. 개발자가 문서 생성 도구를 따로 붙이지 않고 오픈AI가 호스팅하는 환경 안에서 이런 작업을 처리할 수 있게 된 점이 핵심이다.
같은 날 추가된 울트라패스트 모드는 속도를 위한 옵션이다. 지원 모델을 쓸 때 agent.service_tier 값을 ultrafast로 지정하면 토큰과 토큰 사이의 생성 간격이 줄어든다. 응답이 한 글자씩 나오는 속도 자체가 빨라지는 셈이어서, 사용자가 화면을 보며 기다리는 대화형 서비스나 여러 단계를 거치는 에이전트 작업에서 체감 효과가 클 것으로 보인다. 이 모드는 모든 모델이 아니라 '지원 모델'에서만 쓸 수 있다.
10월 20일에는 리스폰스 API에 12시간 프롬프트 캐싱 옵션이 생겼다. 프롬프트 캐싱은 요청마다 반복해서 보내는 시스템 지시문, 도구 정의, 배경 자료 같은 공통 부분을 저장해 두었다가 다시 쓰는 기능이다. 캐시에 남아 있는 입력은 일반 입력보다 싼 '캐시 입력' 요금이 매겨진다. 오픈AI는 12시간 캐싱을 쓰면 공통 지시문과 도구, 맥락이 더 오래 캐시에 남기 때문에 요청 사이에 몇 시간씩 간격이 있어도 낮은 캐시 입력 요금을 적용받을 수 있다고 설명했다.
대신 캐시를 처음 저장할 때 비용이 붙는다. 12시간 캐시 쓰기 요금은 일반 입력 토큰 가격의 2.5배다. 캐시를 한 번 만들고 그 뒤로 자주 다시 쓸수록 이득이 커지고, 저장해 놓고 거의 쓰지 않으면 오히려 비용이 늘어나는 구조다. 이 때문에 개발자는 서비스의 호출 패턴을 보고 이 옵션을 쓸지 정해야 한다. 예를 들어 하루 종일 드문드문 요청이 들어오지만 매번 같은 긴 지시문과 도구 목록을 쓰는 업무용 에이전트라면, 12시간 캐싱으로 반복되는 입력 비용을 아낄 여지가 크다.
두 차례 업데이트를 묶어 보면 방향이 드러난다. 에이전트가 만들 수 있는 결과물은 문서 파일로 넓어졌고, 울트라패스트 모드로 응답 속도를 끌어올릴 수 있게 됐으며, 12시간 캐싱으로 오래 돌아가는 서비스의 반복 입력 비용을 줄일 수 있게 됐다. 모두 실제 업무에 에이전트를 붙여 운영하는 개발사가 바로 체감할 변화다.
