公司真题库2026-07-26
【快手】LoRA 的 A、B 矩阵怎么初始化？B 为什么初始化为 0，A 可以吗？
快手大模型岗真题：考 LoRA 初始化的细节理解。核心是 A 高斯初始化、B 置零保证训练起点等价于原模型，反向则梯度断流。
91学AI·6 阅读
标签
#LoRA
共 6 篇文章
微调与对齐2026-07-26
什么时候值得做全参微调？没做过的话怎么判断值不值得做？
考察微调投入决策能力：按 prompt→RAG→LoRA→全参的成本阶梯逐级判断，从任务性质、数据量、算力预算、效果差距四个维度评估全参的必要性。
91学AI·7 阅读
微调与对齐2026-07-26
如果让你对比 LoRA 和全参微调，实验怎么设计？控制哪些变量、看哪些指标？
考察训练实验设计能力：如何在数据、步数、学习率各自对齐的前提下公平对比 LoRA 与全参，以及从任务效果、遗忘、成本三类指标下结论。
91学AI·6 阅读
微调与对齐2026-07-26
LoRA 实践：rank 怎么选？为什么优先微调 Attention 的 Q/K/V/O 而不是 FFN？lr 设置有什么技巧？
考察 LoRA 落地调参经验：rank 与 alpha 的取舍、target modules 选注意力层的原因、学习率要比全参大一个数量级的原理及常见踩坑。
91学AI·7 阅读
微调与对齐2026-07-26
讲一下 LoRA 的原理和细节：低秩矩阵为什么有效、A/B 怎么初始化、更新哪些参数？
考察对 LoRA 数学原理与实现细节的掌握：低秩假设的来源、ΔW=BA 的参数化方式、A 高斯 B 置零的初始化设计，以及合并推理等工程要点。
91学AI·7 阅读
微调与对齐2026-07-26
你了解哪些微调方式？LoRA、P-Tuning、Adapter 的异同点是什么？
考察对参数高效微调（PEFT）方法体系的掌握，重点说清 LoRA、Adapter、P-Tuning 在改动位置、参数量、推理开销上的本质差异和选型依据。
91学AI·7 阅读