Attention mechanism 썸네일형 리스트형 [AAAI2021] Cross-Layer Distillation with Semantic Calibration Chen, Defang, et al. "Cross-layer distillation with semantic calibration." Proceedings of the AAAI conference on artificial intelligence. Vol. 35. No. 8. 2021. (AAAI 21) https://ojs.aaai.org/index.php/AAAI/article/view/16865 AbstractFeature map을 기반으로 지식을 전이하는 기존 feature distillation은 student model을 효과적으로 training시키는 방식임. 하지만, 의미론적 정보(semantic information)는 다양한 layer에 분포하며 이는 부정적인 regualrization.. 더보기 이전 1 다음
