1月22日,在上海举行的百度文心Moment大会上,文心大模型5.0正式版上线。
文心大模型5.0正式版参数达2.4万亿,采用原生全模态统一建模技术,具备全模态理解与生成能力,支持文本、图像、音频、视频等多种信息的输入与输出。
受访者供图
在40余项权威基准的综合评测中,文心5.0正式版的语言与多模态理解能力稳居国际第一梯队。图像与视频生成能力与垂直领域专精模型相当,整体处于全球领先水平。
目前,用户可在文心APP、文心一言官网体验,企业与开发者可通过百度千帆平台进行调用。
百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜介绍,与业界多数采用“后期融合”的多模态方案不同,文心5.0的技术路线采用统一的自回归架构进行原生全模态建模,将文本、图像、视频、音频等多源数据在同一模型框架中进行联合训练,使得多模态特征在统一架构下充分融合并协同优化,实现原生的全模态统一理解与生成。
此外,文心5.0采用超大规模混合专家结构,具备超稀疏激活参数,激活参数比低于3%,在保持模型强大能力的同时,有效提升推理效率。同时,得益于原生全模态建模,文心5.0在多模理解、代码生成、创意写作等能力上实现显著突破。
上游新闻记者 杨昕华