- 논문 제목: SenseNova-U1.5: Towards Native Unified Visual Intelligence
- 저자: Haiwen Diao, Jiahao Wang, Chenjing Ding, Hanming Deng, Ziwei Liu, Dahua Lin 외 61인 (SenseTime, Shanghai AI Lab 연합)
- 원문 링크: arXiv:2609.11929
- PDF 원문: arXiv PDF (2609.11929.pdf)
- 코드 공개: 학습 코드, SFT, 다중 전문가 RL, 온폴리시 증류 파이프라인 공식 오픈소스 공개 예정
0.71점 대 0.43점. 복합 프롬프트 추론과 다중 객체 시각 생성 성능을 정밀 측정하는 텍스트-투-이미지 표준 벤치마크 GenEval에서, 이전 세대 오픈소스 통합 모델들이 0.42–0.43점 문턱에 갇혀 있을 때 새로운 차세대 모델이 기록한 점수는 무려 0.71점이었습니다. 0.28점이라는 압도적인 성능 도약은 그동안 분리되어 있던 컴퓨터 비전과 언어 모델링의 경계를 근본적으로 다시 정의합니다.
오늘날 인공지능 엔지니어링이 직면한 가장 기형적인 구조는 바로 '시각 이해(Understanding)와 시각 생성(Generation)의 철저한 단절'입니다.
- 시각 이해 모델 (VLM): LLaVA나 Qwen-VL처럼 외부의 사전학습된 고정 비전 인코더(
CLIP,SigLIP)에 전적으로 의존합니다. 하지만 이들 인코더는 고주파 공간 디테일과 픽셀 텍스처 정보를 인코딩 과정에서 대부분 손실시키며, 스스로 픽셀을 한 점도 렌더링하지 못하는 '반쪽짜리 관찰자'에 불과합니다. - 시각 생성 모델 (Diffusion / DiT): FLUX나 Stable Diffusion처럼 변분 오토인코더(VAE)의 잠재 공간(Latent Space)에서 확산 노이즈를 제거합니다. 하지만 이 잠재 공간은 텍스트의 인과적 맥락(Causal Reasoning)과 호환되지 않아, 대화형 추론이나 복합 지시 이해를 독립적으로 수행하지 못하는 '눈먼 화가'에 머물렀습니다.
두 진영을 억지로 이어 붙인 하이브리드 시스템은 표현 공간의 불일치(Representation Discrepancy)와 이중 타워의 막대한 연산 비용으로 신음해 왔습니다.
센스타임(SenseTime)과 상하이 AI 랩 연구진이 발표한 **'SenseNova-U1.5: 진정한 네이티브 통합 시각 지능을 향하여(Towards Native Unified Visual Intelligence)'**는 바로 이 구조적 난제를 완벽히 해결합니다. 외부 비전 인코더(CLIP)와 VAE 잠재 압축기를 모두 제거하고, 순수 픽셀 패치와 언어 토큰을 단일 트랜스포머에서 직접 처리하는 8.2B 네이티브 통합 아키텍처의 전모를 분석합니다.
1. 인코더와 VAE의 영구 퇴출: 공간 결합 픽셀 디코더와 4K 네이티브 인터페이스
기존 네이티브 통합 모델들이 겪었던 가장 큰 고질병은 '바둑판 격자 아티팩트(Grid & Seam Artifacts)'였습니다. 연산량을 줄이기 위해 이미지를 32×32 픽셀 단위로 패치화한 뒤 단순 선형 MLP 헤드로 디코딩하면, 패치 경계면마다 타일이 깨진 듯한 미세 단절이 발생하여 고해상도 생성에서 처참하게 무너졌습니다.
SenseNova-U1.5는 이 문제를 해결하기 위해 두 가지 근본적인 인터페이스 혁신을 단행했습니다.
1. 공간 결합 픽셀 디코더 (Spatially Coupled Pixel Decoder)
연구진은 독립적인 패치별 MLP 헤드를 과감히 폐기하고, 계층적 픽셀 셔플(Pixel Shuffle)과 합성곱(Convolution)의 결합 디코더를 구축했습니다:
- 백본의 히든 상태
H를 2차원 공간 위상H_2D로 복원합니다. PixelShuffle x2(4096차원 → 1024차원)로 업샘플링한 뒤,3x3 Conv2d및 GELU를 통과시킵니다.- 다시
PixelShuffle x2(1024차원 → 256차원)와3x3 Conv2d를 거칩니다. - 마지막으로
PixelShuffle x8(192차원 → 3차원)을 통해 최종 RGB 원본 픽셀을 복원합니다.
업샘플링 단계 사이에 배치된 3x3 합성곱은 인접한 32×32 토큰 영역 간의 정보 교환을 강제합니다. 그 결과 패치 경계면의 픽셀들이 개별 토큰이 아니라 이웃 픽셀들과 유기적으로 상호작용하며 생성되므로, VAE 없이도 격자선 없는 매끄러운 텍스처와 공간적 연속성을 완벽히 보장합니다.
2. 4K 해상도 가변 노이즈 스케일링 (Resolution-Dependent Noise Scale)
확산(Flow-Matching) 모델에서는 이미지의 해상도가 높아질수록 유효 노이즈의 통계적 편차가 달라집니다. 기존 SenseNova-U1이 2048×2048에 정규화되어 있던 반면, U1.5는 기준 해상도를 4096×4096 (4K)로 대폭 확장했습니다.
해상도 (H, W)에 따른 노이즈 스케일 sigma_R(H, W)를 4K 최대 기준선 sigma_max로 정규화한 뒤, 전용 사인파 MLP(NSEmb)를 통해 임베딩하여 확산 타임스텝에 결합합니다:
s_t = \tau_t + \text{NSEmb}(\bar{\sigma}_R)
이를 통해 디노이저는 현재 생성 중인 타임스텝뿐만 아니라 '해상도별 노이즈 통계 특성'을 실시간으로 인지하여, 1:1 정사각형부터 16:9 파노라마, 1:2 세로형 웹툰까지 최대 4K 초고해상도 환경에서 일관된 디노이징 궤적을 유지합니다.
2. 8.2B Mixture-of-Transformers (MoT): 비대칭 어텐션과 매개변수 특화
단일 트랜스포머 안에서 텍스트와 이미지를 동시에 처리할 때 발생하는 가장 큰 위험은 '최적화 목적함수의 충돌'입니다. 텍스트는 앞선 단어만을 참조하는 인과적(Causal) 언어 모델링을 따르지만, 이미지는 픽셀 전체가 동시에 상호작용하는 양방향(Bidirectional) 디노이징을 요구합니다.
SenseNova-U1.5는 42개 레이어, 4096 히든 차원의 8.2B Mixture-of-Transformers (MoT) 아키텍처로 이 모순을 우아하게 해결했습니다.
[SenseNova-U1.5 비대칭 어텐션 매트릭스 흐름]
┌──────────────────┬─────────────────┬──────────────────┬──────────────────┐
│ 어텐션 쿼리 (Q) │ 텍스트 컨텍스트 │ 클린 이미지 토큰 │ 노이즈 생성 토큰 │
├──────────────────┼─────────────────┼──────────────────┼──────────────────┤
│ 텍스트 토큰 │ Causal (참조 O) │ 참조 X │ 참조 X (오염 차단)│
│ 클린 이미지 토큰 │ 참조 O │ Bidirectional │ 참조 X (오염 차단)│
│ 노이즈 생성 토큰 │ 참조 O (시맨틱) │ 참조 O (시각 증거)│ Bidirectional │
└──────────────────┴─────────────────┴─────────────────┴──────────────────┘1. 비대칭 어텐션 마스킹 (Asymmetric Attention Flow)
- 순방향 흐름: 노이즈 상태의 생성 토큰은 자신의 이미지 블록 내에서 양방향으로 픽셀을 구성함과 동시에, 앞선 모든 클린 텍스트와 클린 이미지 컨텍스트를 자유롭게 참조합니다. 생성 과정이 VLM이 구축한 풍부한 시각적·의미론적 이해 표현의 혜택을 100% 흡수하는 통로입니다.
- 역방향 차단 (Information Isolation): 반대로 클린 텍스트와 클린 이미지 토큰은 확률적 노이즈 생성 상태에 절대 접근할 수 없도록 마스킹됩니다. 이를 통해 이미지를 생성하는 불안정한 노이즈가 VLM 본연의 논리적 추론 및 언어 이해 가중치를 오염시키는 현상을 완벽히 방지합니다.
2. 토큰 타입 기반 동적 파라미터 분기 (Stream-Specific Specialization)
아키텍처 통합이 모든 가중치의 맹목적 공유를 의미하지는 않습니다. 트랜스포머의 각 레이어에서 셀프 어텐션의 상호작용 캔버스는 공유하되, Q/K/V 프로젝션 레이어, LayerNorm, 그리고 FFN(Feed-Forward Network)은 이해(Und) 전용과 생성(Gen) 전용으로 물리적으로 분리되어 토큰 타입에 따라 동적으로 라우팅됩니다. 지식과 의미 공간은 하나의 어텐션으로 소통하면서도, 지각과 합성에 필요한 고유 연산은 독립된 파라미터가 전담하는 하이브리드 균형을 완성한 것입니다.
3. 사후 학습의 돌파구: 4대 전문가 RL과 온폴리시 속도장 증류(OPD)
네이티브 통합 모델의 사전학습(SFT)이 끝나더라도, 실전 배포를 위해서는 미학적 품질, 한영 텍스트 렌더링, 고밀도 인포그래픽, 정밀 편집이라는 상충하는 4대 능력을 극대화해야 합니다. 단일 모델에 이 모든 보상을 한꺼번에 쏟아부으면 정책 기울기(Policy Gradients)가 서로를 상쇄하여 모델이 붕괴합니다.
센스타임 연구진은 이를 해결하기 위해 '분할 정복 후 무손실 통합(Multi-Expert On-Policy Distillation)'이라는 획기적인 2단계 사후 학습 프레임워크를 고안했습니다.
1. 4대 영역별 특화 교사(Expert) 병렬 강화학습 (Stage 4)
단일 SFT 체크포인트로부터 4개의 독립된 전문가 브랜치를 분기하여 각 과업에 특화된 정밀 보상으로 개별 강화학습을 진행합니다:
- 미학 전문가 (Aesthetic Expert): 인간 시각 선호도 모델인
HPSv3++보상과 바이링구얼 OCR 보상을 결합하고, CPS(Coefficients-Preserving Sampling) 기법으로 스타일 일관성을 극대화. - 타이포그래피 전문가 (OCR Expert): 생성 이미지 내 텍스트의 결측, 중복, 오탈자를 대칭적으로 처벌하는 다중집합 교집합(Multiset IoU) 보상(
min(gt, ot) / max(gt, ot))과 GRPO-Guard를 적용하여 한영 문자 렌더링 정확도 극대화. - 인포그래픽 전문가 (Infographic Expert): 복잡한 다이어그램 및 데이터 시각화를 위해 고밀도 데이터 미드 트레이닝 후, 선호도 쌍에 대한 DPO(Direct Preference Optimization, beta=10)와 GRPO를 3단계로 교차 적용.
- 이미지 편집 전문가 (Editing Expert): 5차원 VLM 평가기(지시 준수, 편집 실행도, 전체 품질, 텍스트 편집 품질, 미편집 원본 영역 보존도) 기반의 복합 보상과 점진적 슬라이딩 윈도우 훈련.
2. 온폴리시 속도장 증류 (Stage 5: Multi-Expert On-Policy Distillation)
4명의 교사가 완성된 후, 연구진은 학생 모델이 자체 생성한 디노이징 궤적 상에서 4대 교사의 속도 벡터(Velocity Field)를 모방하는 온폴리시 속도 증류를 단행했습니다:
L_{OPD} = \mathbb{E} \left\| v_\theta(\text{sg}(\hat{x}_{\theta,t}), t, c) - v_m(\text{sg}(\hat{x}_{\theta,t}), t, c) \right\|^2
- Beta 분포 기반 시간 스케줄링: 훈련 초기 에포크에는
Beta(2, 5)를 적용하여 고주파 노이즈 영역(전체 구도 및 거시 구조)을 교사로부터 집중 증류하고, 후반부에는Beta(5, 2)로 점진 전환하여 저노이즈 영역(미세 텍스처, 정밀 글자 획)을 완벽히 흡수합니다. - 결과적으로 4개 분야의 최고 전문성이 성능 간섭(Degradation) 없이 단 하나의 8.2B 일체형 모델로 완벽히 응축되었습니다.
4. 벤치마크 및 브레이크포인트 분석: 시각 생성과 언어 추론의 공존 증명
통합 멀티모달 모델 연구에서 항상 제기되는 의구심은 "시각 생성을 탑재하느라 언어 모델 본연의 시각 이해 및 추론 지능이 퇴화하지 않았는가(Tax on Understanding)?"입니다.
1. 시각 생성 벤치마크: 오픈소스 1위 달성
GenEval 벤치마크에서 SenseNova-U1.5는 프롬프트 인핸서(PE) 결합 시 0.71점, 순수 모델 단독으로도 0.55점을 기록했습니다 (Figure 4).
- 속성 바인딩(Attribute): 0.99점 (색상, 형태, 재질의 정확한 결합)
- 공간 위치 지정(Position): 0.90점 (좌/우, 상/하, 전경/배경 관계 정확성)
- 개체 계수(Counting): 0.83점 (객체 개수 일치율)
기존 오픈소스 통합 모델인 SenseNova-U1(0.43점), Qwen-Image 20B(0.42점), Z-Image 6B(0.31점)를 완전히 압도하며, 심지어 폐쇄형 모델인 Gemini-3-Pro-Image(0.59점)를 넘어서는 경이적인 생성 제어력을 입증했습니다.
2. 바이링구얼 타이포그래피의 혁신
중국어와 영어가 혼용된 텍스트 렌더링 벤치마크 CVTG-2K와 장문 텍스트 벤치마크 LongText-Bench에서 SenseNova-U1.5는 오픈소스 최고 성능을 갱신했습니다. Figure 3에서 보듯 포스터, 서적 표지, 복잡한 인포그래픽에서 글자 획 뭉개짐이나 영문 철자 탈락 없이 전문 그래픽 디자이너 수준의 타이포그래피를 안정적으로 출력합니다.
3. 이해 능력의 무손실 보존 (Zero-Tax on Understanding)
가장 인상적인 결과는 멀티모달 이해 벤치마크 데이터(Table 3)에서 확인됩니다:
MMBench-EN: 90.47점 (Qwen3VL 8B-Think 87.50점 대비 우위)MathVista_mini: 85.85점 (수학적 시각 추론 최상위권 유지)IFEval(지시 준수): 93.35점C-Eval(지식 이해): 90.41점
생성 능력을 훈련하기 전과 비교했을 때, 이해 지표의 하락폭은 0.5% 미만에 불과했습니다. 이는 비대칭 어텐션 마스크와 MoT 가중치 분기 설계가 이해와 생성의 간섭을 완벽히 차단했음을 정량적으로 증명합니다.
5. 핵심 요약 및 차세대 멀티모달 시스템 설계 시사점
SenseNova-U1.5는 지난 수년간 관행처럼 굳어져 온 'CLIP + DiT + VAE' 3중 복합 파이프라인의 종말을 예고합니다. 원천 픽셀 패치로부터 직접 생각하고 직접 렌더링하는 네이티브 통합 모델이야말로 진정한 AGI 시각 지능의 종착지임을 보여줍니다.
- Encoder-Free & VAE-Free 패러다임: 픽셀을 직접 토크나이징하고 공간 결합 픽셀 셔플 디코더(
PixelShuffle+3x3 Conv)로 복원함으로써, 표현 손실 없는 네이티브 RGB 인터페이스 구축이 가능합니다. - 비대칭 어텐션과 MoT 가중치 분기: 공유 어텐션으로 지식을 교류하되, 역방향 노이즈 유입을 차단하고 레이어별 Q/K/V와 FFN을 분기하여 이해와 생성 간의 최적화 충돌을 0%로 제압했습니다.
- 다중 전문가 온폴리시 증류의 위력: 상충하는 미학, 타이포그래피, 인포그래픽, 편집 보상을 4개 교사 모델로 분할 학습한 뒤
On-Policy Velocity Distillation으로 통합하는 기법은 향후 모든 멀티모달 정렬의 표준 공식이 될 것입니다.
시각을 '해석하는 AI'와 '그리는 AI'가 따로 존재할 이유가 없습니다. 인지하고, 추론하며, 창작하는 모든 행위가 하나의 트랜스포머 안에서 일어날 때, 비로소 인공지능은 인간처럼 세상을 보고 상상할 수 있게 됩니다.
'AI > Paper Review' 카테고리의 다른 글
| 구글 리서치 WikiSkill과 에이전트 경험의 영구 지식화 (1) | 2026.09.19 |
|---|---|
| 구글 딥마인드 Dream-RSI와 월드 모델 기반 재귀적 자가 개선 (0) | 2026.09.18 |
| 인간이 만든 마지막 AI: 진정한 재귀적 자가 개선(RSI)을 향한 5단계 로드맵 (0) | 2026.09.17 |
| 토큰당 연산량은 고정, 추론 깊이는 시퀀스만큼 확장: 순환 루프형 트랜스포머 RLT (Recurrent Looped Transformer) (0) | 2026.09.17 |
| 잠든 실행 궤적에서 살아 숨쉬는 환경을 깨우다: Qwen 팀의 'Terminal-Universe' (0) | 2026.09.15 |
