ptq 썸네일형 리스트형 [ICLR 2025] DGQ: Distribution-Aware Group Quantization for Text-to-Image Diffusion Models https://arxiv.org/abs/2501.04304 AbstractText-to-Image 생성을 위한 Diffusion모델은 높은 계산량과 메모리사용으로 인해 실제 적용에 제약을 줌.이를 하기 위해 Quantization 기법이 이용되는데, 기존 Diffusion모델의 quantization은 낮은 비트에서 이미지 품질과 텍스트-이미지 alignment를 유지하는데 한계를 지님.본 논문에서는 activation에서 outlier가 있으며, 이는 이미지 품질을 결정하는데 중요한 역할을 한다는 것을 분석함. 또한, 텍스트-이미지 alignment에 cross-attention이 중요한 역할을 한다는 것을 분석함.논문에서 제안하는 DGQ(Distribution-aware Group Quantizat.. 더보기 [ICLR 2025] ViDiT-Q: Efficient and Accurate Quantization of Diffusion Transformers for Image and Video Generation https://arxiv.org/abs/2406.02540 ICLR 2025 ViDiT-Q: Efficient and Accurate Quantization of Diffusion Transformers for Image and Video GenerationDiffusion transformers have demonstrated remarkable performance in visual generation tasks, such as generating realistic images or videos based on textual instructions. However, larger model sizes and multi-frame processing for video generation lead to i.. 더보기 이전 1 다음
