360公司近日正式开源了其自研的7B参数大模型“360智脑7B参数升级版”(360Zhinao2-7B),并已上线GitHub开源社区,供开发者免费使用和商用。此次开源包含基础模型和强化对齐的聊天模型,以及微调训练代码、推理代码等全套工具集,开发者可以“开箱即用”。
以下是360智脑7B参数升级版的主要特点和功能:
-
多阶段训练方式:该模型采用了全新的多阶段训练方式,显著提升了中英文通用能力和数学逻辑推理能力。
-
多种上下文长度支持:模型支持4K、32K、360K三种不同长度的上下文输入,其中360K长度可支持约50万字的长文本输入,这在开源大模型中极为罕见。
-
丰富的语料库:360智脑7B参数模型使用了3.4万亿Tokens的语料库进行训练,语料主要以中文、英文和代码为主。
-
开源许可证:本仓库源码遵循Apache 2.0开源许可证,支持商用。若需将本模型及衍生模型用于商业用途,请通过邮箱(g-zhinao-opensource@360.cn)联系进行申请。
-
推理和部署工具:开源内容还包括微调训练代码和推理部署代码等工具链,方便开发者进行模型的应用和开发。
360智脑7B参数升级版的开源,为开发者提供了强大的工具和资源,推动了人工智能技术的发展和应用。
请登录之后再进行评论