#算力

【阿里巴巴】Attention 和 FFN 哪个更吃算力？不同序列长度下结论一样吗？

阿里实习一面真题：考察对 Transformer 计算分布的量化理解——参数量 FFN 占约三分之二，但 attention 有 O(n²d) 项，序列超过约 4 倍隐藏维度后 attention 反超成为算力大头。