据最新的研究报道，NVIDIA团队提出了一种名为归一化生成预训练变压器（nGPT）的新型神经网络架构。这一创新架构基于超球面上的表示学习，极大地提升了大型语言模型（LLM）的训练速度，最高可达20倍，并且在此过程中保持了模型的高精度表现。
nGPT的核心在于将所有向量，包括嵌入、多层感知机（MLP）、注意力矩阵和隐藏状态，统一归一化为单位范数。这种归一化处理使得输入的token在超球面表面上移动，每一层模型通过位移推动最终的输出预测。
实验结果显示，nGPT的训练步骤比传统Transformer模型减少了4到20倍，具体加速效果取决于序列长度。例如，在1k长度的上下文中，训练速度提升了4倍；在4k上下文中提升了10倍；而在8k上下文中，提升幅度更是达到了20倍。
研究人员进一步指出，nGPT通过对超球面上的点进行优化位移，输出预测由MLP和注意力模块决定。这种方法不仅大幅提升了训练速度，还增强了模型的稳定性和效率。此外，nGPT在嵌入向量的标准化和注意力矩阵的优化方面表现出色，显著减少了计算开销，进一步证明了其在生成模型领域的前景。
nGPT架构具有很多优势。首先，它能够提升大型语言模型的训练速度，并且保持了高精度表现。其次，它能够通过归一化处理将所有向量统一归一化为单位范数，使得输入的token在超球面上移动，每一层模型通过位移推动最终的输出预测。
总之，nGPT架构是一种非常有前途的技术，在AI领域有着很大的潜力。未来我们可以期待看到更多类似技术的应用和发展。
