模型压缩

模型压缩方向论文精读,涵盖量化(GPTQ/AWQ)、知识蒸馏、结构化剪枝、稀疏化与低秩分解等方法,分析在精度、显存与推理速度之间的工程取舍。

主要菜单