MS 연구진, '보기 좋은 슬라이드' 짜는 코드 생성 AI 'AesCode' 공개…"8B 모델이 GPT-5.5급 시각 품질"
마이크로소프트(Microsoft) 연구진이 슬라이드·포스터·대시보드 같은 시각 자료를 코드로 생성하는 AI가 보기에도 좋은 결과물을 내도록 하는 방법을 내놨다. 사전공개 논문 저장소 arXiv에 공개된 논문 「AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards」(arXiv:2610.18860)에 따르면, 연구진이 개발한 'AesCode' 모델은 같은 크기의 Qwen3-VL 기반 비교 모델보다 시각 품질 점수가 최대 31.1%포인트 높았다. 논문은 Xin Gao 등 16명이 함께 썼으며, 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 78회를 받았다.
시각 자료를 이미지가 아닌 코드로 만들면 구조가 분명하고, 수정하기 쉬우며, 내용이 맞는지 검증할 수도 있다. 문제는 코드 모델이 자신이 정한 배치와 색이 실제 화면에서 어떻게 보일지 "볼 수 없다"는 점이다. 연구진은 이 때문에 공간 배치 계획과 미적 완성도가 자주 떨어진다고 지적했다. 반대로 이미지 생성 모델은 시각 디자인에는 강하지만, 요청한 글자나 수치를 잘못 그리는 경우가 있어 그 결과물을 그대로 따라 그리게 할 수도 없다. 코드는 정확하지만 투박하고, 이미지는 그럴듯하지만 부정확한 상황이다. AesCode는 이 두 가지의 장점을 합치려는 시도다.
방식은 이렇다. 사용자가 입력한 내용 프롬프트를 바탕으로 코드를 짜되, 같은 프롬프트로 생성한 이미지를 '미적 참고 자료'로 함께 쓴다. 이때 목표 결과물을 캔버스 전체를 설명하는 '디자인 그래프'로 나타내 요소 하나하나의 속성을 따로 따질 수 있게 했다. 이 그래프에서 두 종류의 보상을 뽑는다. 코드와 렌더링 결과에서 기계적으로 읽어낼 수 있는 속성은 결정론적 검증기가 채점하고, 읽어낼 수 없는 속성은 시각-언어 모델(VLM) 심사관이 샘플마다 따로 만든 '시각 그래프 루브릭(VGR)'에 따라 평가한다. 연구진은 이렇게 분리된 보상을 채널별로 정규화한 뒤 강화학습에 적용해 공간 배치, 미적 품질, 검증 가능한 정확성을 함께 끌어올렸다고 설명했다.
평가를 위해 연구진은 검증 가능한 정확성과 시각 품질을 따로 채점하는 벤치마크도 직접 만들었다. 논문은 이 벤치마크의 시각 점수가 사람의 판단과 높은 일관성을 보였다고 밝혔다. 실험 결과 참고 이미지를 주는 것만으로도 기존 모델들이 만든 코드의 시각 품질이 크게 좋아졌다. 구성 요소를 하나씩 빼 보는 실험(ablation)에서는 AesCode가 참고 이미지를 모델 입력으로 쓸 때와 시각 보상의 근거로 쓸 때 모두 효과를 봤다.
같은 참고 이미지를 준 조건에서 AesCode-8B와 AesCode-32B는 같은 규모의 Qwen3-VL 비교 모델보다 시각 품질이 각각 31.1%포인트, 22.4%포인트 높았다. 연구진은 이 점수가 GPT-5.5, Claude Opus 4.8 같은 비공개 최상위 모델과 비슷한 수준이라고 주장했다. 80억 개 매개변수 규모의 비교적 작은 모델이 프레젠테이션·보고서 자동 생성 같은 실무 영역에서 대형 상용 모델과 겨룰 수 있다는 뜻이어서 관심을 끈다.
다만 이번 내용은 저자들이 공개한 초록을 바탕으로 정리한 것이고, 논문은 동료평가를 거치지 않은 사전공개 논문이다. 벤치마크도 연구진이 직접 만든 것이어서 다른 기관의 독립 검증이 필요하다. 모델 가중치나 벤치마크 데이터를 공개할지, 마이크로소프트 제품에 적용할 계획이 있는지는 확인되지 않았다.
