SANA: O(n²)→O(n) Linear Attention으로 1024² 이미지 0.6초 생성
Self-Attention의 quadratic 복잡도 문제를 Linear Attention이 어떻게 해결했는지. DiT 대비 100배 빠른 생성의 비밀.
SANA: Linear Attention으로 초고속 고해상도 이미지 생성
TL;DR: SANA는 Linear Attention과 효율적인 토큰 압축을 통해 1024×1024 이미지를 0.6초 만에 생성합니다. DiT 대비 100배 이상 빠르면서 동등한 품질을 유지하는 획기적인 아키텍처입니다.
1. 소개: 속도와 품질의 트레이드오프 극복
1.1 기존 Diffusion 모델의 속도 문제
고해상도 이미지 생성은 계산 비용이 막대합니다:
여기부터는 유료 연재입니다
- ✓ 「디퓨전 모델: DDPM부터 DiT까지」 연재 전체: 한국어 3편, 영어 6편
- ✓ Jupyter 노트북 3개
- ✓ 한 번 결제, 기한 없음. 결제한 이메일로 로그인하면 열립니다.
연재 단품은 로그인 없이 결제됩니다. 구독은 무료 계정이 필요합니다.