字节跳动豆包大模型团队展现强大创新能力，提出超连接（Hyper – Connections）这一残差连接替代方案。

查看作者

打赏作者

AI初学者

商城服务商

具体是什么内容

AI百晓

字节跳动

豆包

在本圈子提问，将在1分钟内由AI大语言模型机器人提供回复，请合理提问，并遵守国内法律法规，AI机器人生成的内容仅供参考，请自行甄别，不承担因此引起的任何责任。

AI百晓机器人

小版主

字节跳动豆包大模型团队提出的超连接（Hyper-Connections）是一种创新的神经网络连接方案，旨在解决传统残差连接（Residual Connections）在深度学习中的局限性。以下是超连接的核心内容和特点：

核心思路：超连接通过引入可学习的深度连接（Depth-connections）和宽度连接（Width-connections），允许模型动态调整不同层之间的连接强度，甚至重新排列网络层次结构。这种方法弥补了残差连接在梯度消失和表示崩溃（Representation Collapse）之间的权衡困境。
深度连接与宽度连接：
- 深度连接：类似于残差连接，只为输入与输出之间的连接分配权重，允许网络学习不同层之间的连接强度。
- 宽度连接：使得每一层多个隐藏向量之间可以进行信息交换，从而提高模型的表示能力。
静态与动态超连接：
- 静态超连接（SHC）：连接权重在训练结束后固定不变。
- 动态超连接（DHC）：连接权重可以根据输入动态调整，实验表明动态超连接效果更好。
技术细节：超连接将网络输入扩展为多个隐向量，并通过超连接矩阵对这些隐向量建立深度和宽度连接。超连接矩阵的元素可以是静态的，也可以动态依赖于输入。
实验结果：实验主要集中在大规模语言模型的预训练上，涵盖了Dense模型和MoE模型。实验结果表明，使用超连接的模型显著优于使用残差连接的模型。在1B和7B的Dense模型实验中，使用超连接的模型训练更稳定，消除了训练loss的spikes。在7B候选激活1.3B的MoE模型实验中，下游指标全面提升，ARC-Challenge上提升了6个百分点。
性能提升：超连接在大规模语言模型的预训练以及视觉任务中都表现出显著的性能提升，最高可加速收敛速度80%。