#微调实践

LoRA 实践：rank 怎么选？为什么优先微调 Attention 的 Q/K/V/O 而不是 FFN？lr 设置有什么技巧？

考察 LoRA 落地调参经验：rank 与 alpha 的取舍、target modules 选注意力层的原因、学习率要比全参大一个数量级的原理及常见踩坑。