考察点
这道题的前提是给定的——现有方案是图像特征匹配(本质是 CNN/ViT 提特征+向量检索),问你用大模型怎么升级。面试官在看三件事:你知不知道现有方案的真实短板(不知道短板就谈不上升级,只会变成「为大模型而大模型」);你清不清楚多模态大模型(VLM)相对传统 CV 的增量在哪;以及你对「替换一个正在跑量的存量功能」有没有敬畏心——找相似是有明确转化价值的入口,升级方案必须说清楚怎么验证收益、怎么灰度。追问方向:「VLM 推理成本扛得住吗」「怎么定义相似」「效果怎么对比评测」。
参考答案
先讲清楚图像特征匹配的短板在哪
传统方案把图片压成一个向量,靠向量距离找「长得像」的商品。它解决了「同款/近同款检索」,但三个场景接不住:一是用户想要的「相似」经常不是像素相似——看中一件裙子的「法式复古风」,特征匹配给你一堆颜色相近的通勤裙;二是局部意图,「这双鞋同款但换个颜色」「这个沙发类似风格但小一号」,全局特征匹配无法响应这种带约束的诉求;三是跨类目启发,拿着穿搭图想配齐一身,单图向量没有「搭配」的概念。这三个短板有个共性:用户要的相似是语义层面的,而图像特征是感知层面的。这就是 VLM 的切入点。
升级方案:VLM 做理解,检索还是检索
我特别想强调一个原则:大模型不是直接替掉检索链路,而是插在理解层。电商找相似的候选池是亿级商品,不可能让 VLM 挨个看,推理成本和延迟都不可行。合理的架构是三段:第一段,VLM 把查询图片「翻译」成结构化语义——品类、风格标签、关键元素(领型、材质、配色),同时支持用户补一句自然语言约束(「类似但预算低一点」);第二段,用结构化的语义约束+传统向量做混合召回,向量管「像」,语义标签管「对」;第三段,用小一点的模型或规则做重排,把「同款不同价」「同风格不同价位段」的分布组织好再出结果。VLM 只在离线的商品打标和在线的查询理解两处使用,单次请求成本可控——离线打标是一次性成本,在线理解一张图的开销比一个长文本对话还小。
离线侧:全量商品的语义打标是更大的工程
很多人只想到在线理解用户图片,其实离线侧的价值同样大:用 VLM 给全量商品图打语义标签(风格、场景、元素),商品库从「只有类目和属性」变成「有视觉语义索引」。这批标签不光服务找相似,搜索的同义词扩展、推荐的冷启动特征都能复用——和算法团队谈资源时,这是重要的筹码:不是为一个功能做一套基建,而是一次投入多处收益。打标质量要抽检,风格类标签的准确率经验上做到 85% 以上才能上线用,达不到就先只上确定性高的元素类标签(颜色、领型、图案)。
怎么验证升级是对的
存量功能升级,验证必须苛刻。离线先评:建一个「相似性判断」评测集,人工标注每个查询图的正确相似结果(同款、同风格、满足约束各占比例),新旧方案比 Top-K 命中率,按品类分层看——服饰美妆这类风格驱动品类应该是提升主力,标准品(手机、家电)大概率持平,持平就没必要在这些品类上线。在线灰度:5% 流量 AB,核心指标是找相似入口的点击通过率、加购率和该路径的最终转化率,同时盯延迟(VLM 理解会增加几百毫秒,要用预计算和缓存压)和单次请求成本。我的放量标准是转化率显著提升且成本增加可控;如果只是「用户觉得新鲜多点了几次」但转化没动,说明升级是自我感动,回滚不丢人。
节奏和边界
节奏上先做一个品类(女装是最佳试验田:非标、风格驱动、图多量大),三个月内出结论再扩。边界上要明确不做什么:不做「AI 生成相似款图片」——那是造图不是找货,和用户「买到这个东西」的诉求南辕北辙;也不在标准品类目强推,把资源集中在语义相似有真实痛点的非标品上。
可能的追问
- VLM 在线理解的延迟和成本怎么压? 答:三招:图片先压缩裁剪再送模型;同款/同图缓存,电商场景重复查询率很高,缓存命中率做到 40% 以上成本直接砍半;高峰期降级,缓存miss 且排队超时直接回退传统特征匹配,用户无感。
- 「相似」没有标准答案,评测集怎么标? 答:分桶标注——同款、近似款、同风格三档分开标,不追求唯一正确答案,追求「标注员一致认为合理」的结果集;评测算的是命中合理结果集的比例,不是和单一答案的匹配。
- 用户传的是网图或截图,不是商品图怎么办? 答:这是真实高频 case。VLM 的优势正在这里——它能从带模特、带场景、带文字的图里提取出商品主体和语义;识别不到商品主体时,坦诚提示「没认出具体商品,试试裁剪一下」,别硬猜。
- 这套语义标签冷启动前要标全量商品,周期多长? 答:不需要全量。先标流量头部商品——找相似入口 80% 的查询落在头部 20% 的商品池,先标这部分两周内就能上线;长尾商品按点击热度滚动补标,永远不为全量而全量。