误区一:AI 产品就是给老产品加个对话框
这是过去两年死得最多的一类。看到一个传统软件,第一反应是「加个 AI 助手入口」,于是笔记软件加对话框、招聘系统加对话框、连 OA 都加对话框。结果绝大多数 AI 助手的打开率不到 5%,因为用户根本不知道能问什么,问了一次效果一般,就再也不点了。
问题出在对话框是最懒惰的 AI 形态——它把「怎么用 AI」的认知负担全推给了用户。真正有效的 AI 功能往往是隐形的:Notion AI 最被高频使用的不是聊天,是选中一段文字后「续写/润色/翻译」那几个按钮;Copilot 最杀手的功能是代码补全,用户连 prompt 都不用写,Tab 一下就接受了。做 AI 功能先问自己:用户不说话,AI 能不能自己把活干了?能,就别给对话框。
误区二:模型能力越强,产品就越好
新人特别容易陷入模型军备竞赛的叙事:GPT 又更新了、Claude 又刷榜了,所以我们产品也要马上换最新模型。但用户买的是结果,不是模型。一个用 GPT-4o 但检索质量稀烂的 RAG 产品,体验不如一个用小模型但知识库清洗得很干净的产品。
真实场景里,效果差距的来源排序大致是:数据和知识库质量 > 场景定义和 prompt 设计 > 后处理和兜底策略 > 模型选择。模型排最后。而且强模型还带来副作用:贵、慢。一次客服对话用旗舰模型可能成本翻三倍、首字延迟多一秒,这一秒足以让挂断率明显上升。成熟的 AI 产品经理脑子里永远有一本成本账:这个场景值不值得上最贵的模型?大部分答案是不值得。
误区三:demo 跑通了,产品就成了 80%
恰恰相反,demo 跑通只完成了 20%。demo 是拿三条精心挑选的问题问出漂亮答案,生产是面对一万个用户的真实输入:错别字、方言、一句话拆成三条发、上来就骂人的、故意绕你的。
demo 到生产的差距里藏着 AI 产品真正的活:badcase 收集和修复机制、敏感内容的拒答策略、超时和重试、多轮对话里用户突然换话题怎么处理、模型抽风时的降级方案。行业里有个说法,AI 产品的第一个版本上线那天,你才发现需求文档只写了一半,另一半是用户拿真实输入教你的。所以排期时,我把 demo 之后的联调、评测、灰度时间至少留到和开发一样长。
误区四:提示词调得好就是核心竞争力
提示词重要,但它是生产资料,不是护城河。原因很简单:第一,它可复制,竞品花一周就能试出差不多的 prompt;第二,它跟着模型走,模型一升级,你精心调的两千字 system prompt 可能一半是负优化;第三,用户对 prompt 无感知,他们感知的是结果稳不稳定。
真正的护城河长在更难复制的地方:私有数据和行业 know-how(比如医疗场景里医生标注的十万条病历)、和业务流程的深度整合(Cursor 对 IDE 的理解,不是换谁都能三个月抄出来的)、以及评测体系——你知道自己在哪 500 个 case 上会犯错,这个认知本身就是壁垒。
误区五:效果好不好,跑个准确率就行
单一准确率几乎是最没用的指标。一个 95% 准确率的 AI 客服,如果那 5% 的错误集中出现在「退款」这个场景,对业务的伤害比 90% 但错误均匀分布的版本大得多。
看 AI 效果至少分三层:整体指标(准确率、满意度)看趋势;分场景指标看结构,找到错误聚集的头部场景;badcase 清单看个体,每周过一遍最严重的二十条错误。还有一条容易被忽略:用户侧指标和模型侧指标要分开。模型答对了但用户没看懂、没采纳,这在产品侧依然是失败——Copilot 看的是补全采纳率,不是「生成的代码语法正确率」,前者才是真指标。