Batch Norm, Layer Norm, RMS Norm
什么是Normalization？ Normalization：规范化或标准化，就是把输入数据X，在输送给神经元之前先对其进行平移和伸缩变换，将X的分布规范化成在固定区间范围的标准分布。 $$ h = f(g \cdot \frac{x - \mu}{\sigma} + b) $$ 其中 $\mu$ 为均值，$\sigma$ 为方差，$g$ 为缩放参数，$b$ 为平移参数。归一化得到的数据符合均值为 $b$ 、方差为 $g^2$ 的分布。 ...