PhotoGuider, 360도 파노라마에서 찍을 방향 고르고 구도 이유까지 설명
360도 파노라마 장면에서 어느 방향을 바라볼지 먼저 정한 뒤 사진 구도를 잡고, 그렇게 고른 이유를 글로 설명하는 AI 기법이 나왔다. Yuan-Kang Lee 등 연구진 4명은 사전공개 논문 사이트 arXiv에 「PhotoGuider: Composition-Aware Cropping and 360° View Framing with Explainable Photographic Assessments」 논문(arXiv:2611.02897)을 올렸다. 저자들이 공개한 초록에 따르면 PhotoGuider는 일반 2D 이미지 크롭 벤치마크 두 곳에서 평균 mIoU가 가장 높았고, 참가자 120명이 순위를 매긴 블라인드 평가에서도 비교 대상 방법들을 앞섰다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 31회를 받았다.
연구진이 짚은 문제는 기존 이미지 크롭 기술이 깔고 있는 전제다. 지금까지의 크롭 기술은 사진 안에 이미 남길 만한 구도가 들어 있다고 보고, 어디를 잘라낼지만 따졌다. 360도 장면은 사정이 다르다. 사방이 다 찍혀 있어서 어느 쪽을 바라봐야 좋은 장면이 나오는지부터 찾아내야 비로소 프레임을 잡을 수 있다. 연구진은 PhotoGuider를 '먼저 측정하고 그다음 프레이밍하는(measure-then-frame)' 방법이라고 소개했다. 바라볼 방향을 정하는 일과 프레임을 다듬는 일을 하나의 구도 특징 세트 위에서 작고 가벼운 학습형 채점기로 함께 처리한다.
구도 특징은 범용 파운데이션 비전 모델과 특정 작업용 비전 모델로 뽑아낸 뒤, 사진 평가 기준에 맞춰 네 가지 '사진 토큰'으로 묶는다. 피사체(Subject), 구도(Composition), 미학(Aesthetics), 완결성(Integrity)이다. 사진가가 장면을 볼 때 무엇을 찍을지, 어떻게 배치할지, 보기 좋은지, 화면에 무언가 어색하게 잘리지는 않았는지 따지는 과정을 항목별로 나눈 셈이다.
설명 기능도 붙였다. 연구진은 멀티모달 대형언어모델(MLLM)을 미세조정해 '설명기'로 만들었다. 이 설명기는 이미지와 네 토큰의 측정값을 함께 입력받아 구도와 관련된 설명을 만든다. 측정된 점수를 근거로 설명을 내놓기 때문에, 사용자는 AI가 왜 그 구도를 골랐는지 문장으로 읽을 수 있다. 결과물로 카메라 파라미터도 내놓아 원본 장면을 다시 렌더링하는 데 쓸 수 있다. 연구진은 360도 파노라마에서 구도를 기준으로 방향을 명시적으로 고르는 기능, 정교한 프레이밍, 원본 재렌더링용 카메라 파라미터 출력, 측정값에 근거한 설명을 한데 묶은 것은 자신들이 아는 한 PhotoGuider가 처음이라고 밝혔다.
성능 평가는 두 갈래로 했다. 먼저 일반 2D 사진 크롭에서는 표준 벤치마크 두 곳에서 정답 크롭과 얼마나 겹치는지를 재는 mIoU 지표로 비교했고, 평균 성능이 가장 높게 나왔다. 360도 장면에서는 사람의 판단을 직접 물었다. 공개 HDRI 라이브러리 Poly Haven에서 가져온 파노라마 장면 100개를 대상으로, 참가자 120명이 세 가지 크롭 방법의 결과물을 어느 방법인지 모르는 상태에서 순위를 매겼다. PhotoGuider 결과물이 1위에 오른 비율은 53.2%였다. 비교 대상인 두 방법은 각각 27.3%, 19.5%에 그쳤다. 연구진은 두 비교 대상을 '강력한 대안'이라고 표현했다.
이 결과대로라면 360도 카메라로 찍은 장면이나 3D 환경에서 볼 만한 장면을 자동으로 찾아 한 장의 사진으로 뽑아내는 작업에 쓸 수 있다. 결과에 이유가 붙기 때문에 사진을 배우는 사람이 구도 원리를 익히는 데도 도움이 된다. 연구진은 프로젝트 페이지(https://ntuneillee.github.io/research/photoguider/)도 열었다. 다만 이 논문은 동료평가를 거치지 않은 사전공개 논문이고, 위 내용은 저자들이 공개한 초록을 정리한 것이다.
