文章

大模型推理优化——KV 缓存与量化的取舍

大模型推理阶段的显存与成本优化。以 27B 模型在 A100 80GB 上的部署为例，对比 KV 缓存与量化两条路线的取舍与精度代价，并给出部署组合建议。