6月30日,文心4.5系列模型正式开源,涵盖激活参数规模分别为47B和3B的混合专家(MoE)模型(最大的模型总参数量为424B),以及0.3B的稠密参数模型。
在海光信息“深算智能”战略引领下,海光DCU率先展开文心4.5系列模型的深度技术合作,基于飞桨深度学习框架进行高效训练、推理和部署的适配工作。
文心4.5是百度自主研发的新一代原生多模态基础大模型,通过多个模态联合建模实现协同优化,多模态理解能力优秀;具备更精进的语言能力,理解、生成、逻辑、记忆能力全面提升,去幻觉、逻辑推理、代码能力显著提升。
依托GPGPU架构的生态优势,与编程开发软件栈DTK的领先特性,海光DCU支撑文心4.5预训练的模型FLOPs利用率(MFU)达47%,在多个文本和多模态基准测试中达到SOTA水平,充分验证海光DCU高通用性、高兼容度及自主可控的技术优势。
上一篇:定制生物墨水3D打印出人类胰岛