三条路的真实成本结构
先把账摊开。调 API(比如 GPT-4o、Claude、豆包、通义)是起步最快的:接进去几天就能跑,按 token 付费,一个日请求几千次的内部工具,一个月可能就几百到几千块。但它的成本曲线是线性的——业务量涨 10 倍,账单也涨 10 倍,而且你的核心能力建在别人的模型上,对方涨价、限流、下线,你一点脾气没有。
自研或基于开源模型微调(Llama、Qwen、DeepSeek 开源系列)是另一本账:前期要投 GPU、算法工程师、标注数据,一个最小可用团队起步就是几百万一年的投入,但规模化之后单次推理成本能压到 API 的几分之一,而且数据不出域、能力是自己的。
找外包或买现成方案(比如买客服 SaaS 的 AI 模块)介于两者之间:一次性或年费投入,快,但你拿到的是通用能力,效果天花板低,出了问题响应慢,而且你的业务数据大概率喂给了别人的模型迭代。
决策的三个核心维度
我自己的判断框架是三个问题。第一,这件事是你的核心竞争力吗?如果 AI 能力本身就是产品卖点——比如你做的是 AI 写作工具、AI 编程助手——那迟早要走向自研或深度微调,因为通用 API 给不了你差异化。如果 AI 只是内部提效工具,比如帮运营写文案初稿、帮客服做工单摘要,调 API 就是最优解,犯不着养算法团队。
第二,数据能不能出域?金融、医疗、政企客户的数据合规要求很硬,很多场景 API 方案直接出局,只能私有化部署开源模型。这一条是硬约束,没有商量余地。
第三,规模到没到临界点?经验数字是:月 API 账单到了 10-20 万这个量级,就该认真算自研或私有化部署的账了——一台 8 卡 A800 推理服务器一次投入百万级,跑开源模型,量大了一年左右回本。在此之前,API 的时间价值远超它的溢价。
一个务实的演进路径
实际工作里我推荐的路径是「API 起步、数据先行、按需下沉」。第一阶段用最好的 API 把产品跑起来,验证需求是真的——很多项目死在这一步之前,所以用最便宜的方式验证最重要。第二阶段,从第一天起就埋数据管道:用户反馈、bad case、人工修正结果,全部结构化存下来,这些是以后微调的燃料。第三阶段,等调用量和数据积累到了临界点,用攒下来的数据微调开源模型,逐步替换掉 API 流量,灰度切换、随时可回滚。
字节做豆包、阿里做通义当然是全栈自研,但那是大厂战略。对绝大多数公司,这个三段式是投入产出比最高的走法。最糟糕的选择是反过来:需求没验证就先养算法团队训模型,我见过烧了一年多钱、模型效果还不如直接调 GPT-4 的案例。
关于外包,多说两句
外包不是不能找,但要按「买交付物」而不是「买能力」来谈。合同里写死验收标准:测试集准确率多少、响应延迟多少、bad case 率上限多少,达不到就返工或退款。千万别签「做一个智能问答系统,三个月交付」这种模糊合同——AI 功能的效果是连续的,「做完了」和「能用了」之间隔着十万八千里。另外,模型和数据的知识产权归属、后续的迭代维护费用,要在签之前谈清楚。
还有一个容易踩的坑:外包交付时效果达标,但测试集是外包商自己出的——相当于出题人兼考生,分数再高也不作数。我的要求是验收测试集由我方出,或者双方各出一半混合,并且留 20% 的题到验收前一周才给。多这一步,能筛掉大半只会应试的供应商,谈合同时对方支不支持这一条,本身就是一块试金石。