#数据蒸馏

知识蒸馏是什么？怎么用强模型给小模型造数据？

考察知识蒸馏的三种形态（logits、特征、数据蒸馏）与落地路径：温度软化的 KL 损失设计，以及用强模型生成指令/推理链数据训练小模型的工程流程。