LociArt, 영상 속 원하는 영역만 골라 화풍 입힌다…샤오미 연구진 발표
영상 전체가 아니라 사용자가 지정한 영역에만 원하는 화풍을 입히는 기술이 나왔다. 사전공개 논문 저장소 arXiv에 올라온 논문 「LociArt: A Unified Paradigm for Free-Style Local Video Stylization」에 따르면, 샤오미 리서치(Xiaomi Research) 소속 Yuxuan Chen 등 연구진 7명이 '국소 영상 스타일화' 방식 LociArt를 공개했다. 영상에서 화풍을 바꿀 영역과 적용할 스타일을 각각 직접 정하고, 그 밖의 내용은 원래대로 두는 것이 핵심이다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 26회를 받았다.
지금까지의 영상 스타일화는 대체로 장면 전체를 한꺼번에 바꾸는 방식이었다. 연구진은 영상의 일부만 예술적으로 편집하려면 세 가지가 필요하다고 짚었다. 어느 영역에 어떤 스타일을 입힐지 정확히 연결하는 것, 공간을 세밀하게 제어하는 것, 프레임이 넘어가도 결과가 흔들리지 않는 시간적 일관성이다. 예를 들어 영상 속 인물에만 유화 느낌을 주고 배경은 실사로 남기려면, 인물 영역을 정확히 잡아내면서 움직임에 따라 화풍이 깜빡이지 않아야 한다. LociArt는 이 요구를 하나의 틀에서 처리하려는 시도다.
중심 모델은 GRNStyle이다. 생성형 정제 네트워크(Generative Refinement Networks, GRN)를 바탕으로 만들었고, '극좌표 스타일 인식 마스크(polar style-aware mask)'라는 장치를 새로 넣었다. 선택한 영역 안에 각 스타일의 정체성을 크기가 같은 방향 벡터로 심는 방식이다. 여기에 인코딩한 마스크 특징과 원본 마스크의 공간 정보를 함께 쓰는 '표현-기하 보완 조건화'를 더해, 시공간 맥락과 기하학적 제어를 하나로 묶었다.
학습 데이터도 직접 만들었다. 국소 스타일화는 '원본 영상'과 '일부만 화풍이 바뀐 영상'의 짝이 필요한데, 이런 데이터는 구하기 어렵다. 연구진은 영상 전체 스타일화, 영상 속 객체 제거, 매팅(전경 분리), 합성을 잇는 자동 파이프라인을 짜서 국소 스타일화 쌍 10만 개로 된 'LociArt-100K' 데이터셋을 구축했다.
성능을 잴 기준도 새로 내놨다. 'LociArt 벤치마크'는 원본 영상 80개와 대상 마스크 84개로 구성되며, 전경과 배경 스타일화 사례 168건을 다룬다. 영역별 스타일 품질은 새로 제안한 '스타일 프로토타입 유사도(SPS)' 방식으로 평가하고, 대상이 아닌 영역이 얼마나 보존되는지와 시간적 일관성은 별도 지표로 측정한다.
연구진은 실험에서 GRNStyle이 영역별 스타일 품질과 공간 제어 측면에서 기존 방법을 앞섰고, 시간적 일관성도 높게 유지했다고 밝혔다. 눈에 띄는 대목은 학습 범위를 넘어서는 결과다. 모델은 '한 영역에 한 스타일'을 적용한 쌍으로만 학습했지만, 정성 평가 예시에서는 여러 영역에 같은 스타일이나 서로 다른 스타일을 동시에 입히는 모습도 보여줬다. 연구진은 데이터셋과 모델, 벤치마크를 합쳐 제어 가능한 국소 영상 스타일화를 학습하고 평가하는 통합 기반을 마련했다고 설명했다.
영상 편집 현장에서 보면, 화면 전체에 필터를 씌우는 수준을 넘어 특정 인물이나 사물, 배경만 골라 다른 화풍을 입히는 작업을 자동화하는 방향의 연구다. 연구진은 프로젝트 페이지(https://higherhu.github.io/lociart/)에 관련 자료를 올렸다. 논문 번호는 arXiv:2610.36456이며, 동료평가를 거치지 않은 사전공개 논문이다.
