Stable Diffusion 썸네일형 리스트형 [ICLR 2025] DGQ: Distribution-Aware Group Quantization for Text-to-Image Diffusion Models https://arxiv.org/abs/2501.04304 AbstractText-to-Image 생성을 위한 Diffusion모델은 높은 계산량과 메모리사용으로 인해 실제 적용에 제약을 줌.이를 하기 위해 Quantization 기법이 이용되는데, 기존 Diffusion모델의 quantization은 낮은 비트에서 이미지 품질과 텍스트-이미지 alignment를 유지하는데 한계를 지님.본 논문에서는 activation에서 outlier가 있으며, 이는 이미지 품질을 결정하는데 중요한 역할을 한다는 것을 분석함. 또한, 텍스트-이미지 alignment에 cross-attention이 중요한 역할을 한다는 것을 분석함.논문에서 제안하는 DGQ(Distribution-aware Group Quantizat.. 더보기 이전 1 다음
