分类

精选·模型与微调基础

共 10 篇文章

业务落地怎么选模型：从任务分层到成本压测的选型方法论

给出 AI Native 工程师的模型选型框架：按任务复杂度分层选档位、用自建评测集实测、综合延迟成本合规三约束定方案。

91学AI·9 阅读

讲清 BPE 分词的合并逻辑和 token 与字词的对应关系，覆盖词表大小权衡、中文切分、成本估算等应用工程师必须懂的实际影响。

91学AI·7 阅读

讲清预训练、SFT、RLHF/DPO 三阶段的目标分工，解释偏好对齐为什么不能简单用 SFT 替代，以及中小团队该做到哪一步。

91学AI·8 阅读

讲清 LoRA 冻结主干、旁路低秩分解的核心思想与秩 r 的选择经验，覆盖推理合并、QLoRA、适用边界等落地细节。

91学AI·6 阅读

从训练目标层面解释幻觉为何无法根除，再给出 RAG 约束、拒答校准、校验回路等 AI Native 工程上真正管用的缓解组合拳。

91学AI·7 阅读

讲清三个采样参数各自的作用机制与叠加顺序，给出确定性任务、Agent 工具调用、创意生成三类场景的调参组合和常见误区。

91学AI·8 阅读

讲清为什么注意力需要位置信息、RoPE 用旋转把相对位置注入 QK 内积的原理，以及上下文窗口扩展的工程手段与边界。

91学AI·7 阅读

走一遍 QKV 到注意力输出的完整链路，从数值稳定性角度讲清缩放因子的由来，再落到复杂度、KV Cache 等工程推论。

91学AI·6 阅读

从训练目标、数据可得性和工程统一性三个角度解释 GPT 式 Decoder-only 为何胜出，以及这个架构选择对应用开发的实际影响。

91学AI·9 阅读

拆解 Transformer 的注意力、FFN、残差与 LayerNorm 各模块职责，讲清它取代 RNN 的原因，以及做 AI 应用必须懂的几个工程推论。

91学AI·8 阅读