#Mistral

【字节跳动】LLaMA、Qwen、Mistral 这些主流开源大模型在架构设计上有哪些关键差异？

字节实习一面真题：考察对开源模型架构的横向对比——三者同为 decoder-only，但注意力机制（GQA/滑窗）、FFN 结构、归一化、MoE 路线选择不同，差异背后是推理成本与长上下文取舍。