标签：推理加速

1750 亿参数怎么塞进一张显卡，GPTQ 给出了答案

GPT 类模型动辄上千亿参数，推理要好几张 GPU，普通人根…

2026-08-07

0

TensorRT-LLM：把英伟达显卡的推理性能榨到极致

TensorRT-LLM 是 NVIDIA 开源的 LLM …

2026-07-15

0