기사 검색

이슈부터 IT·AI·연예·게임까지, 메타브리프의 기사를 찾아보세요.

AI

MC-Lens로 시각언어모델 속 개념 처리 들여다본다…UCL, '전역 작업공간' 검증


영국 University College London(UCL)의 Jiahao Huang 등 연구자 2명이 시각언어모델(VLM) 내부를 분석하는 도구 'MC-Lens(Multimodal Concept Lens)'를 제안했다. 이들은 논문 「Probing the "Conscious" Mind: Selective Access and Global Workspace in Vision-Language Models」를 arXiv에 공개했다. 저자들이 공개한 초록을 보면 연구진은 인간 의식을 설명하는 인지과학 이론인 '전역 작업공간 이론(GWT)'을 VLM에 적용했다. 그 결과 모델이 과제에 따라 필요한 개념 정보를 골라 쓰는 '선택적 접근'을 확인했다고 밝혔다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 33회를 받았다.


VLM은 이미지와 텍스트를 함께 처리하지만, 결과물만 봐서는 모델 안에서 어떤 개념 표현이 만들어지는지 알기 어렵다. 연구진이 빌려 온 GWT는 뇌에서 동시에 돌아가는 여러 처리 과정 가운데 일부 정보가 선택되고, 공유 작업공간에서 하나로 묶인 뒤, 각 기능을 맡은 처리 과정들에 두루 전달된다고 설명한다. 연구진은 이 '선택·통합·전달'이 VLM의 개념 처리에서도 나타나는지 확인하려고 MC-Lens를 고안했다. 논문 제목의 '의식'에 따옴표를 친 것도 이 이론의 틀을 빌렸다는 뜻이다.


MC-Lens는 멀티모달 야코비안 렌즈다. 이미지를 처리하는 비전 인코더용 렌즈와 문장을 만드는 언어 디코더용 렌즈로 나뉜다. 두 렌즈는 모델 중간 단계의 상태를 디코더 출력 어휘로 정의된 공유 의미 공간에 옮겨 놓는다. 그러면 시각 쪽과 언어 쪽에서 개념이 얼마나 잘 읽히는지를 같은 기준으로 비교할 수 있다. 또 모델 내부의 개념에 직접 개입해, 읽어 낸 개념이 이후 계산에서 어떤 역할을 하는지도 실험할 수 있다.


연구진이 초록에서 밝힌 결과는 네 가지다. 첫째, 멀티모달 개념 정보는 중간 상태에서 읽어 낼 수 있었고, 과제가 요구하는 만큼 선택적으로 접근됐다. 연구진은 개념 정보를 담는 '판독 운반체(readout carrier)'를 이름 토큰 하나에서 토큰 집합으로 넓혔다. 개념 정보를 더 잘 포착하고 반사실(counterfactual) 실험에도 쓰기 위해서다. 둘째, 반사실 실험에서 모델이 꺼내 쓴 개념 정보는 이후 계산과 추론에 실제로 쓰였다. 셋째, 통제된 조건에서 VLM을 학습시키며 새로 만든 'J-공간' 지표 두 가지를 적용했다. 이 지표들은 흔히 쓰는 은닉 상태 코사인 유사도보다 시각·언어 사이 개념 정렬이 자리 잡는 과정을 더 뚜렷하게 보여 줬다. 개념을 읽어 낼 수 있게 되는 시점보다 안정적인 선택적 접근이 나타나는 시점이 늦다는 점도 관찰됐다. 넷째, 여러 VLM 계열과 크기의 모델에서 공통 패턴이 나타났다. 내부 구조는 서로 달랐지만 개념 접근성, 질의에 따라 달라지는 선택성, 과제를 넘나드는 개입 효과는 비슷했다.


이번 연구는 VLM의 중간 처리 과정을 사람이 읽을 수 있는 어휘 공간에 옮겨 보고, 그 안의 개념을 바꿔 가며 인과관계를 시험할 수 있는 방법을 제시했다는 데 의미가 있다. 연구진은 이 결과가 멀티모달 인공 시스템에서 GWT를 실험으로 연구하는 기반이 되고, 시각과 언어 사이 정렬을 개선하는 방향을 잡는 데도 쓰일 수 있다고 설명했다. 논문 번호는 arXiv:2611.26590이다. 동료평가를 거치지 않은 사전공개 논문이며, 이 기사는 저자들이 공개한 초록을 바탕으로 정리했다.