考察点
这道题出自阿里 AI 产品经理校招一面,背后是很现实的背景:传统互联网功能边际成本接近零,DAU 涨十倍服务器成本涨不了多少;AI 功能不一样,每一次生成都真金白银烧 token,DAU 涨十倍成本就是十倍。阿里自己有云、有模型(百炼 + 通义),面试官想看你能不能把成本当成产品设计的一等公民,而不是上线后被财务追着问才想起来。追问会往「具体怎么省」「省了钱体验会不会垮」「成本指标怎么进需求评审」上走。
参考答案
先建立成本心智:AI 产品的成本结构不一样
传统功能的成本大头在研发和带宽,摊到每个用户身上趋近于零。AI 功能的成本大头是推理 token 费,跟着调用量线性涨,而且结构很有特点:输入 token 通常比输出便宜(输入可以并行处理,输出要逐字生成),一次带长文档的请求,输入几万 token 很常见;Agent 类功能更夸张,一次用户提问背后可能是十几次模型调用,单轮成本是普通对话的十倍。
所以做 AI 产品的成本规划,第一步是把账算到单次交互:一次问答平均烧多少输入、多少输出 token,乘上模型单价,再乘 DAU 和人均使用次数,得到每天的成本。这个数字出来,很多「以为很便宜」的功能会现原形。我见过一个内部工具,用户量不大但每次都把整个知识库塞进 prompt,算下来单次交互成本两块多,优化后降到一毛五,差了十几倍。
杠杆一:模型选型,把对的模型放在对的位置
最大的杠杆永远是别用大炮打蚊子。真实产品里 70-80% 的调用是简单任务:意图分类、格式转换、简单问答,7B-14B 级别的小模型或者上一代旗舰就够用,成本只有旗舰模型的十分之一甚至更低。我的做法是建一个模型路由层:先用轻量分类器判断这次调用的复杂度,简单请求路由到小模型,只有复杂推理、长文生成才上调旗舰。
配套的是把「模型」从代码里抽象成可配置项。模型市场三个月一换代,价格还在持续跳水,今天最划算的选择下个季度可能就变了,路由层让你能不改业务代码就换模型、做 AB 对比。
杠杆二:缓存,最贵的 token 是重复生成的 token
缓存是性价比最高的优化,分两层。结果缓存:高频重复的请求直接返回历史结果。客服、企业知识库这类场景,问题高度集中,把 query 做归一化(去空格、同义改写)后,缓存命中率做到 30-40% 不稀奇,这部分请求成本直接归零。语义缓存(embedding 相似度匹配)能再把命中率抬一截,但要设好相似度阈值,宁可 miss 不能错配。
上下文缓存:多轮对话和 Agent 场景,前几轮的 system prompt 和长文档每次都重复传给模型,主流模型服务都支持前缀缓存,重复部分按折扣价计费,长上下文场景能省 50-90% 的输入成本。这个不需要你发明轮子,但产品设计要配合——比如把稳定的长 prompt 放在前缀,动态内容放后面。
杠杆三:调用管控,从产品机制上减少浪费
很多成本是交互设计浪费出来的。几个具体做法:输入侧设长度上限并给用户提示,防止有人粘贴一整本书进来;流式输出让用户看到不对就打断,打断就是省钱;Agent 设最大迭代步数和单次会话的 token 预算,防止任务陷入死循环烧穿预算——这个我踩过坑,一个 Agent 在工具报错后反复重试,一晚上烧掉几千块,之后所有 Agent 我都强制配预算熔断。
还有异步化和批处理:不是所有请求都要实时。内容审核、数据标注、报告生成这类场景,攒批走离线推理,价格通常是实时的一半以下,产品上要设计「提交后稍后查看」的交互来承接。
成本指标要进需求评审,不能事后补
最重要的一条是机制层面的:每个 AI 功能在立项评审时就要带「单次交互成本预算」,像延迟预算一样被 review。上线后把单次成本、缓存命中率、模型路由分布做成常态监控,成本异动和 bad case 一样对待。同时要看全账:降本不能降出体验事故,小模型的 bad case 率、降级回复的转人工率要一起看。健康的目标不是「成本最低」,而是「单位价值的成本最优」——一个能帮客服多解决 10% 工单的贵模型,ROI 可能远高于省下来的 token 费。
可能的追问
- 小模型效果不行导致用户体验下降怎么办? 答:路由不是一刀切,设置信度兜底——小模型对输出置信度低或检测到复杂意图时,自动升级到大模型重答,用户无感;同时用小模型的 bad case 数据持续精调小模型,准确率是滚起来的。
- 免费用户和付费用户的成本策略怎么区分? 答:分层供给:免费用户走小模型 + 强缓存 + 每日额度上限;付费用户解锁旗舰模型、更长上下文、更高并发。成本结构直接决定定价,免费层单次成本必须压到付费层的十分之一以下,这个模式才转得动。
- 自建推理和调 API 怎么选? 答:看量级和波动。日均调用量小、波峰波谷剧烈的,调 API 按量付费划算;量大到一定程度(经验上日均几千万 token 以上)且平稳,自建开源模型推理的边际成本更低,但要算上 GPU 空置和运维人力。阿里的优势是百炼平台两边都支持,可以先 API 验证再平滑切自建。