公司真题库2026-07-27
【OpenAI】LLM 调用怎么缓存？语义缓存和精确缓存的区别与实现
OpenAI 常考工程题：LLM 缓存两层——精确匹配缓存靠 key 哈希，语义缓存靠 embedding 相似度；考点在命中率与正确性的权衡、相似度阈值设定、缓存失效与成本收益测算。
91学AI·15 阅读
标签
#语义缓存
共 2 篇文章
推理与部署2026-07-26
大模型应用怎么控制成本？缓存、模型路由、大小模型搭配怎么做？
考察 LLM 应用的成本结构认知和工程化降本能力：语义缓存、模型路由、级联调用三大手段的原理、收益与风险。
91学AI·9 阅读