반응형 tinyml1 [논문 정리] SmoothQuant: Accurate and EfficientPost-Training Quantization for Large Language Models Document논문 링크: https://arxiv.org/pdf/2211.10438AbstractLLM 성능은 좋지만 연산량 / 메모리 낭비가 심함.기존 양자화 방법으로 메모리 사용량 줄이고 추론을 가속할 수 있지만 accuracy와 hardware 효율성을 동시에 유지하기 힘듬.SmoothQuant는 PTQ로 training-free, accuracy-preserving, LLM을 위한 W8A8 양자화 솔루션.상대적으로 weight에 비해 activation이 이상치 때문에 양자화하기 어려운데, SmoothQuant는 수학적으로 변환을 동등하게 유지시키면서 이 어려움을 weight으로 이전시킴.다양한 LLM 모델에 존재하는 matrix m ultiplication 연산들에 대해서 weight, act.. 2025. 9. 28. 이전 1 다음 반응형
