본문 바로가기

AI

[CVPR2023] Adaptive Data-Free Quantization https://openaccess.thecvf.com/content/CVPR2023/html/Qian_Adaptive_Data-Free_Quantization_CVPR_2023_paper.html AbstractData Free Quantization에서 Quantized Model의 성능을 복원하기 위해 가짜의 데이터 샘플을 생성하는 경우가 많음.하지만, 기존 방식은 양자화가 진행되지 않은 Full-precision Model P을 기준으로 생성되기 때문에 Quantized Model과는 독립적이며, 생성된 샘플이 Quantized Model에 효과적인지 검증되지 않음. 또한, 일반화 오류가 존재해 다양한 Quantization 비트 폭에서 적응성이 좋은지 밝혀지지 않음. (Quantization은 3.. 더보기
대학원 면접 대비 (AI, 통계) 머신러닝이란?인공지능의 한 분야로 알고리즘이 데이터를 학습하여 패턴을 찾고 예측하는 기술임.지도학습, 비지도학습, 강화학습으로 구분할 수 있음.지도학습주어진 입력을 통해 알고리즘이 출력하고, 출력된 값과 정답을 통해 학습하는 방식임.대표적으로 선형회귀, 로지스틱회귀, SVM 등이 있음비지도학습정답이 주어지지고 않고 입력데이터만을 이용해 학습하는 방식임.군집화 알고리즘, 차원축소, 연관규칙 학습 등이 있음.준지도학습레이블링된 데이터가 적을 때, 레이블이 없는 데이터를 pseudo labeling과정을 통해 성능을 향상시키는 방식임.데이터 분포 문제를 고려해야하며,mixmatch방법이 대표적임.강화학습에이전트가 환경과 상호작용하여 보상을 최대화하는 행동을 학습하는 방식임.알파고와 자율주행 등이 있음.분류와 .. 더보기
[CVPR2023] Hard Sample matters a Lot in Zero-Shot Quantization https://openaccess.thecvf.com/content/CVPR2023/html/Li_Hard_Sample_Matters_a_Lot_in_Zero-Shot_Quantization_CVPR_2023_paper.html CVPR 2023 Open Access RepositoryHard Sample Matters a Lot in Zero-Shot Quantization Huantong Li, Xiangmiao Wu, Fanbing Lv, Daihai Liao, Thomas H. Li, Yonggang Zhang, Bo Han, Mingkui Tan; Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (.. 더보기
[Low-power Computer Vision 2022] A Survey of Quantization Methods for Efficient Neural Network Inference https://arxiv.org/abs/2103.13630Low-power Computer Vision, 2022 A Survey of Quantization Methods for Efficient Neural Network InferencThis chapter provides approaches to the problem of quantizing the numerical values in deep Neural Network computations, covering the advantages/disadvantages ofwww.taylorfrancis.comAbstract AI분야에서 신경망 모델의 성능발전으로 인해 메모리 및 computational resource 관련 한계가 발생하고 있음.해당 한계.. 더보기
GCN (Graph Convolution Network) 개념 GCN은 왜 생기게 되었을까? 인공지능 분야에서 이미지데이터를 처리할 때에는 CNN (Convolutional Neural Network)을 가장 대표적으로 사용합니다. 그리고 순차적인 데이터 (ex. 음성 데이터, 텍스트 데이터)같은 경우에는 RNN (Recurrent Neural Network)을 대표적인 모델로 떠올릴 수 있습니다. 하지만 위와 같은 데이터들이 아닌 연관관계가 있는 데이터들이 있다면 CNN, RNN같은 기존 모델들이 좋은 성능을 보일까요? 모델의 개념에 대해 공부해보신 분들은 연관관계를 고려하지 못할 것이라는 것을 쉽게 유추하실 수 있을 것입니다. 연관관계가 있는 데이터의 예를 든다면 1. SNS의 Social Network 2. 인간의 뇌세포 구조 3. 3차원형태의 픽셀 그림(3D.. 더보기

티스토리툴바