推理与部署2026-07-26
量化的原理是什么？GPTQ、AWQ 有什么区别？int8、int4 怎么选？
考察对模型量化原理和主流 PTQ 算法的理解：对称/非对称量化、GPTQ 与 AWQ 的技术路线差异，以及按场景选 bit 数的判断力。
91学AI·8 阅读
标签
#量化
共 2 篇文章
大模型基础2026-07-26
一个 7B 模型推理要多少显存？训练呢？怎么估算？
考察显存估算的基本功：推理按参数量×精度字节数加 KV cache，训练按 Adam 的 16-18 倍系数拆解，附 7B/70B 的口算公式与量化收益。
91学AI·16 阅读