微调与对齐2026-07-26
微调效果怎么评估？怎么防止过拟合？
考察微调效果的评估体系与过拟合防控：训练/验证 loss 之外还要有任务指标、通用基准与人工评审，早停、正则、数据侧手段的组合使用。
91学AI·6 阅读
分类
微调与对齐
共 12 篇文章
微调与对齐2026-07-26
知识蒸馏是什么？怎么用强模型给小模型造数据？
考察知识蒸馏的三种形态（logits、特征、数据蒸馏）与落地路径：温度软化的 KL 损失设计，以及用强模型生成指令/推理链数据训练小模型的工程流程。
91学AI·8 阅读
微调与对齐2026-07-26
什么时候值得做全参微调？没做过的话怎么判断值不值得做？
考察微调投入决策能力：按 prompt→RAG→LoRA→全参的成本阶梯逐级判断，从任务性质、数据量、算力预算、效果差距四个维度评估全参的必要性。
91学AI·7 阅读
微调与对齐2026-07-26
如果让你对比 LoRA 和全参微调，实验怎么设计？控制哪些变量、看哪些指标？
考察训练实验设计能力：如何在数据、步数、学习率各自对齐的前提下公平对比 LoRA 与全参，以及从任务效果、遗忘、成本三类指标下结论。
91学AI·6 阅读
微调与对齐2026-07-26
PPO、DPO、GRPO 分别是什么？DPO 相比 PPO 做了哪些改进？
考察三种主流偏好优化算法的机制与取舍：PPO 的在线 RL 范式、DPO 的闭式偏好直接优化、GRPO 的组内相对优势，以及 DPO 省掉 RM 和采样的本质。
91学AI·7 阅读
微调与对齐2026-07-26
讲讲 RLHF 的基本流程，奖励模型（RM）的训练数据怎么构建？
考察 RLHF 三阶段流程（SFT、RM 训练、PPO 优化）的完整理解，重点是 RM 偏好数据的采样、排序标注方式与 pairwise 损失的设计。
91学AI·7 阅读
微调与对齐2026-07-26
SFT 和 RLHF 的作用有什么区别？为什么 SFT 之后还要 RLHF？
考察对对齐两阶段分工的理解：SFT 学行为范式与格式，RLHF 注入人类偏好与价值排序；核心论点是 SFT 只能模仿正例，无法表达「哪个更好」。
91学AI·6 阅读
微调与对齐2026-07-26
SFT 训练数据怎么构造？数据质量要求高体现在哪些方面？数据量怎么确定？
考察 SFT 数据工程的实操理解：指令数据的来源与构造流程、质量要求的具体维度（准确性、多样性、一致性）、以及量级选择的依据。
91学AI·7 阅读
微调与对齐2026-07-26
LoRA 实践：rank 怎么选？为什么优先微调 Attention 的 Q/K/V/O 而不是 FFN？lr 设置有什么技巧？
考察 LoRA 落地调参经验：rank 与 alpha 的取舍、target modules 选注意力层的原因、学习率要比全参大一个数量级的原理及常见踩坑。
91学AI·7 阅读
微调与对齐2026-07-26
讲一下 LoRA 的原理和细节：低秩矩阵为什么有效、A/B 怎么初始化、更新哪些参数？
考察对 LoRA 数学原理与实现细节的掌握：低秩假设的来源、ΔW=BA 的参数化方式、A 高斯 B 置零的初始化设计，以及合并推理等工程要点。
91学AI·7 阅读
微调与对齐2026-07-26
你了解哪些微调方式？LoRA、P-Tuning、Adapter 的异同点是什么？
考察对参数高效微调（PEFT）方法体系的掌握，重点说清 LoRA、Adapter、P-Tuning 在改动位置、参数量、推理开销上的本质差异和选型依据。
91学AI·7 阅读