考察点
这道题出自字节跳动 AI 产品经理一面,字节是出了名的数据驱动,这题就是考你有没有真实的上线复盘经验。低水平答案是把能想到的指标背一遍;高水平答案有两个特征:一是不同阶段看不同东西,知道什么阶段的数据能下什么结论、不能下什么结论;二是 AI 功能特有的坑——成本燃烧、成功率衰减、新奇效应,这些是传统功能上线没有的变量。追问一般会问「指标打架怎么办」「怎么证明功能对大盘有贡献」。
参考答案
上线之前:先把指标框架定好
看数据这件事,功夫在上线前。我的习惯是上线前就把三层指标定义清楚并埋好点:一个北极星指标(对这个功能创造的核心价值的度量,比如 AI 搜索助手的「问题解决会话占比」)、一组过程指标(漏斗各环节的转化)、一组护栏指标(不能恶化的大盘指标,比如整体留存、投诉率、成本)。同时明确每个阶段要回答的问题:次日回答「翻没翻车」,首周回答「有没有人真的在用」,首月回答「值不值得继续投入」。带着问题看数据,才不会被几十个看板淹没。
次日(24-72 小时):只看事故,不下结论
刚上线的一两天,数据只做一件事——排雷。重点看四类:一是技术稳定性,功能成功率、接口延迟 P95、崩溃率,AI 功能还要盯模型调用的失败率和超时率,晚高峰能不能扛住;二是漏斗,入口曝光→点击→完成核心动作,每一环掉多少,曝光正常但点击率低通常是入口设计问题,点击正常但完成率低是功能本身的问题;三是成本燃烧速率,AI 功能和传统功能最大的区别是每多用一次就多一份推理成本,实际消耗和预估差多少要马上算清楚,成本超预期两倍以上就是事故;四是舆情信号,应用商店评论、客服进线、社媒反馈里有没有集中的负面声音。这个阶段特别要忍住不对留存下任何结论——样本全是第一天的新客,什么都说明不了。
首周:看有没有人用、用多深、什么反应
一周后数据开始能看出「这个功能的命」。核心看三件事:
- 功能留存:用了功能的人,次日、7 日还回来用吗?关键是做对比分析——用过功能的用户和没用过的用户,整体留存有没有拉开差距,这直接回答「功能有没有创造粘性」。
- 使用深度:AI 功能的特有指标,比如多轮对话的平均轮次、任务完成率、人均使用场景数。只问一句话就走的用户和能完成一个完整任务的用户,价值完全不同。
- 口碑与传播:主动分享率、评价的语义分析(正面负面各在说什么)、客服工单的聚类。首周的负面反馈非常值钱,往往是上线前评测没覆盖的真实场景。
首月:回答「值不值得继续投」
一个月后要能给功能定性了,看四个层面:
第一,对大盘的真实增量。这是最难也最关键的问题:大盘留存和时长的提升,有多少是这个功能带来的?严格做法是靠灰度实验的 AB 对照组算增量;没条件做对照的,至少要看功能渗透人群和非渗透人群的留存差,并排除自选择偏差(本来就更活跃的人才用新功能)。要小心一种常见假象:功能数据很好看,但只是把老用户从一个入口搬到另一个入口,大盘纹丝不动,这种功能没有放大价值。
第二,留存曲线有没有收敛。AI 功能普遍有新奇效应——首周数据虚高,用户尝鲜完就走。看周留存曲线,如果第四周还在快速下滑,说明没找到真实需求;如果在一个位置走平,哪怕位置不高,也说明有一批真实用户在,值得继续迭代。
第三,人群结构。是拉来了新客,还是老客自嗨?是目标人群在用,还是被非目标人群用歪了?后者未必是坏事,很多功能是被用户用歪之后才找到真正定位的。
第四,单位经济账。单用户月均推理成本、占收入或预算的比例、规模放大后的成本曲线。一个月后必须对「放量之后烧不烧得起」有明确判断。
最后给出决策:放量、迭代、还是下线。三个选项都可能是正确答案,关键是拿数据说话——首月复盘会最忌「再看看」这种没有结论的结论,真需要再看,也要说清楚看什么、看到什么程度就决策。
可能的追问
- 渗透率低但用过的用户留存很高,怎么判断? 答:先排除入口问题——曝光够但点击低是入口和文案的事,改起来快;曝光点击都正常只是大盘渗透低,说明功能是窄众刚需,这时看窄众人群规模值不值得继续投,或者能不能找到更高频的关联场景带量。
- 留存涨了但成本也超了,怎么办? 答:算边际账:新增留存的 LTV 和新增推理成本比一比;同时拆成本结构,看是不是少量重度用户烧了大部分钱——是的话用额度分层解决,不要因为重度用户砍掉对大众免费的好功能。
- 没条件做 AB 实验怎么证明增量? 答:次优方案有三个:渗透人群与非渗透人群做倾向分匹配后比留存;看功能上线时间点前后大盘的断点变化(排除大促等干扰);灰度按城市/渠道分批放量,天然形成准实验。