
业务落地怎么选模型:从任务分层到成本压测的选型方法论
给出 AI Native 工程师的模型选型框架:按任务复杂度分层选档位、用自建评测集实测、综合延迟成本合规三约束定方案。
共 20 篇文章

给出 AI Native 工程师的模型选型框架:按任务复杂度分层选档位、用自建评测集实测、综合延迟成本合规三约束定方案。

讲清 BPE 分词的合并逻辑和 token 与字词的对应关系,覆盖词表大小权衡、中文切分、成本估算等应用工程师必须懂的实际影响。

讲清预训练、SFT、RLHF/DPO 三阶段的目标分工,解释偏好对齐为什么不能简单用 SFT 替代,以及中小团队该做到哪一步。

讲清 LoRA 冻结主干、旁路低秩分解的核心思想与秩 r 的选择经验,覆盖推理合并、QLoRA、适用边界等落地细节。

从训练目标层面解释幻觉为何无法根除,再给出 RAG 约束、拒答校准、校验回路等 AI Native 工程上真正管用的缓解组合拳。

讲清三个采样参数各自的作用机制与叠加顺序,给出确定性任务、Agent 工具调用、创意生成三类场景的调参组合和常见误区。

讲清为什么注意力需要位置信息、RoPE 用旋转把相对位置注入 QK 内积的原理,以及上下文窗口扩展的工程手段与边界。

走一遍 QKV 到注意力输出的完整链路,从数值稳定性角度讲清缩放因子的由来,再落到复杂度、KV Cache 等工程推论。

从训练目标、数据可得性和工程统一性三个角度解释 GPT 式 Decoder-only 为何胜出,以及这个架构选择对应用开发的实际影响。

拆解 Transformer 的注意力、FFN、残差与 LayerNorm 各模块职责,讲清它取代 RNN 的原因,以及做 AI 应用必须懂的几个工程推论。

大模型应用安全架构按五层展开:接入层过滤、模型层对齐、编排层权限收敛、数据层隔离、运营层监控响应,核心假设是模型不可信。

Agent 可观测性的核心是完整 trace:跨步关联的调用链、按步维度的质量与成本指标、以及支撑归因分析的检索与告警体系。

上线前靠三层评测集加发布门禁,上线后靠灰度、影子测试、线上抽检和持续回归,把大模型应用的不确定性管成工程流程。

内容安全要输入输出双侧把关:敏感词兜底、分类模型主力、大模型审核语义级风险,加上变体对抗、兜底话术和审计留痕。

按威胁面梳理 OWASP LLM Top 10 核心风险,重点讲注入、泄露、供应链、过度代理四项的工程含义与对应缓解措施。

Prompt 注入分直接与间接两类,本质是模型分不清指令和数据;防御靠输入过滤、上下文隔离、工具权限收敛、输出审计的纵深体系。

红队测试用攻击者视角主动构造越狱、注入、越权、泄露样本,覆盖 OWASP 风险面,按攻击成功率度量并接入发布门禁。

badcase 体系的关键是闭环:线上多渠道收集、按错误类型归因打标、修复后入评测集回归,让每一次线上事故都变成评测资产。

LLM-as-Judge 有位置偏差、冗长偏差、自我偏好等问题,通过成对比较、打乱顺序、rubric 细化、人工校准和一致性监控把可信度提上来。

结果评估看终局对错,轨迹评估看每一步决策质量;只评结果会漏掉运气分和隐患,只评轨迹则失去业务锚点,两者结合才能归因。