人大高瓴、蚂蚁提出 LLaDA，挑战大模型自回归范式

大语言模型的技术演进正面临范式转换的临界点。当主流研究聚焦于优化自回归架构时，中国人民大学高瓴人工智能学院与蚂蚁集团的联合研究团队开辟了全新路径——LLaDA（Large Language Diffusion with Masking）的诞生，标志着扩散模型首次在语言智能领域实现重大突破。这项技术突破的核心在于揭示语言智能的本质并非自回归机制独有，而是源于通过最大似然估计逼近真实语言分布的生成建模原则，这一发现动摇了传统认知的理论根基。

自回归模型通过逐词预测的链式分解处理语言序列，这种单向生成机制在应对逆向推理任务时存在结构性缺陷。以反转诗歌创作为例，模型需要同时把握前后文语义的耦合关系，传统架构难以有效捕捉此类双向依赖。LLaDA引入的扩散机制通过随机掩码策略解构了序列生成的线性约束：在预训练阶段随机遮蔽15%-100%的token，逐步恢复被遮蔽内容的过程中，模型被迫建立全局语义关联。这种训练范式使参数规模8B的LLaDA在MMLU、GSM8K等基准测试中达到LLaMA3-8B相当水平，而在反转诗歌任务中，其困惑度较GPT-4降低32%，准确率提升19个百分点。

技术实现层面，LLaDA创造性地融合了掩码语言模型与扩散过程。正向掩码阶段随机遮蔽输入序列中的token，生成部分可见的中间状态；反向预测过程则通过迭代去噪恢复完整语义。这种双向建模机制不仅突破自回归模型的单侧视野局限，更显著提升计算效率——在2.3万亿token的预训练中，仅需13万H800 GPU时的资源消耗，较同规模自回归模型降低约40%。监督微调阶段进一步优化响应生成质量，通过限定掩码区域聚焦指令遵循能力的提升。

模型架构创新带来多维度的性能突破。在上下文学习场景中，LLaDA展现出对长程依赖关系的精确把握，其注意力机制能够动态调整不同位置的关联权重，而非机械地衰减远程信息。数学推理任务的表现验证了模型对抽象符号关系的处理能力，尤其在多步推导问题中，扩散机制提供的全局视角有效避免误差累积问题。代码生成测试则揭示出模型对结构化语言的深层理解，其生成的Python代码在语法正确率与逻辑完备性指标上均超越同参数规模的自回归基线。

这项研究的技术启示超越具体模型性能的提升，其根本价值在于证明语言智能的实现路径具有多元可能性。扩散机制的成功应用表明，通过优化生成过程中的信息交互方式，可以突破传统架构的认知边界。当行业普遍将自回归视为大模型能力的必要前提时，LLaDA的实践验证了生成建模原则的普适性，为探索更高效的语言模型架构开辟了新方向。这种范式转换可能引发产业链的连锁反应，从硬件适配到应用开发都将面临重新定义，特别是在需要双向推理的垂直领域，如法律文书分析、蛋白质序列预测等场景，新技术路径展现出独特优势。