先建成本模型：单次调用多少钱
成本侧核心是把算力摊到单次请求。用 API 的话很好算：以 GPT-4o 级别的模型为例，输入输出 token 价格公开可查，一次典型的客服对话按输入 2000 token（带上下文和知识库）、输出 500 token 估，单次成本大概几毛钱人民币；换用国产模型（通义、豆包、DeepSeek）能便宜一个数量级，单次几分钱。自建模型就要摊 GPU 成本：一张 A800/H800 级别的卡月租几万块，假设扛住峰值 QPS 后日均服务百万次请求，再算上 30%-50% 的利用率折损，单次成本也能算到分级别。PM 不一定要有 infra 那么细，但「我们这个功能单次调用成本是 X 分钱」这个数必须脱口而出。
收益侧：能算钱的和算不了钱的分开
收益分两类。直接收益好算：客服机器人每次成功自助会话，对应省掉一次人工客服的成本（行业里人工客服单次会话综合成本大概 3-10 元），月省多少钱一目了然；AI 编程工具按「采纳的代码节省的开发工时」折算。间接收益难算但要算：搜索产品加了 AI 摘要后留存提升、转化提升，用 A/B 实验的反事实对比来归因——实验组减对照组的增量收入，才是 AI 功能的真实贡献。最忌讳的是把大盘自然增长全记在 AI 功能头上，老板被忽悠一次，下次你的预算就没了。
一个完整的 ROI 测算长什么样
以客服机器人为例：月会话量 100 万次，自助解决率 60%，单次人工成本 5 元，月收益 = 100万 × 60% × 5元 = 300 万。成本侧：模型 API 单次 0.05 元月算力 5 万，知识库运维和标注 10 万，研发团队人力分摊 30 万，总成本约 45 万。ROI 约 6 倍，这就是个值得继续加码的功能。注意这个例子里算力成本占比只有 10% 出头——很多时候大家盯着 token 价格焦虑，其实人力和运营成本才是大头，但前提是你的量够大，把固定成本摊薄了。
量小的时候，ROI 经常是算不平的
这是必须承认的现实：月调用量几万次的功能，研发成本摊下来单次可能几十块，怎么算都是亏的。这时候的正确姿势不是硬算 ROI，而是把它当「战略性亏损」来管理：明确亏损是为了验证场景（PMF 探索）、积累数据（badcase 和评测集）、或者留住标杆客户，并且给每个理由配一个退出条件——验证多久、到什么数据里程碑就转正或砍掉。没有退出条件的战略性亏损就是无底洞。
降本的三板斧，按见效排序
第一板斧是模型路由：简单问题走小模型，难的才上旗舰模型，实测客服场景六七成问题小模型就够，算力成本直接砍半以上。第二板斧是缓存：高频重复问题（FAQ 类）的回答做缓存，命中一次省一次调用，客服场景缓存命中率做到 20%-30% 不难。第三板斧是 prompt 瘦身和上下文裁剪，很多企业知识库场景把几万字文档无脑塞 prompt，token 费用大头是浪费在无效上下文上的，做好检索和裁剪能省一半输入 token。这三板斧都是纯工程手段，不动用户体验，PM 要主动推。