近日,江苏银行依托国产芯片为代表的混合算力架构,成功实现单张GPU计算卡千亿级推理大模型的规模化部署。
据了解,该行从国产操作系统底层依赖库入手,通过完全自主编译与适配,构建新一代技术架构框架,成功兼容并稳定运行近期发布的MXFP4量化算法。相较传统方案,该模型在推理能力显著提升的同时,实现计算性能3倍加速与硬件资源占用减少75%的优化,大幅降低大模型使用成本并提升部署灵活性。
自上线以来,智能体已累计处理业务数万笔,实现运营效率的显著提升。
基于国产芯片为代表的千亿大模型单卡部署实践,验证了国产算力底座支撑金融核心智能场景的可行性,为银行业智能化转型提供了更加安全可控的技术路径。未来,江苏银行将持续深化人工智能技术研究与应用,构建全栈自主技术体系,推动科技与业务深度融合。通过持续拓展大模型在数字化经营与风控等领域的场景赋能,积极探索智能体在全行业务中的应用路径,全面打造基于国产算力的人工智能驱动金融新生态。
资讯
近日,江苏银行依托国产芯片为代表的混合算力架构,成功实现单张GPU计算卡千亿级推理大模型的规模化部署。