Transformer 参数量、显存占用、计算量分析首先我们先定义模型中的一些参数，transformer的层数记为 $l$，隐藏层维度为 $h$，注意力头数为 $a$，词表大小为 $V$，训练数据的批次大小为 $b$，序列长度为 $s$。 ...