AI导读
360公司近日宣布开源其自主研发的"360智脑7B参数升级版"大语言模型,该模型具备7B参数量并支持中英文混合训练。核心亮点包括:首创360K超长文本处理能力,可解析约50万字长文本;采用多阶段训练提升逻辑推理能力,基于3.4万亿Tokens的混合语料库(含代码数据);提供4K至360K三种上下文窗口选择。开源内容涵盖基础模型、对话优化模型及完整工具链,遵循Apache 2.0协议支持商业应用(需邮件授权),为开发者提供从微调到部署的全流程支持,显著降低大模型技术应用门槛。
360公司近日正式开源了其自研的7B参数大模型“360智脑7B参数升级版”(360Zhinao2-7B),并已上线GitHub开源社区,供开发者免费使用和商用。此次开源包含基础模型和强化对齐的聊天模型,以及微调训练代码、推理代码等全套工具集,开发者可以“开箱即用”。
以下是360智脑7B参数升级版的主要特点和功能:
-
多阶段训练方式:该模型采用了全新的多阶段训练方式,显著提升了中英文通用能力和数学逻辑推理能力。
-
多种上下文长度支持:模型支持4K、32K、360K三种不同长度的上下文输入,其中360K长度可支持约50万字的长文本输入,这在开源大模型中极为罕见。
-
丰富的语料库:360智脑7B参数模型使用了3.4万亿Tokens的语料库进行训练,语料主要以中文、英文和代码为主。
-
开源许可证:本仓库源码遵循Apache 2.0开源许可证,支持商用。若需将本模型及衍生模型用于商业用途,请通过邮箱(g-zhinao-opensource@360.cn)联系进行申请。
-
推理和部署工具:开源内容还包括微调训练代码和推理部署代码等工具链,方便开发者进行模型的应用和开发。
360智脑7B参数升级版的开源,为开发者提供了强大的工具和资源,推动了人工智能技术的发展和应用。

请登录之后再进行评论