8月5日,昇腾计算产业发展峰会在北京召开。来自AI领军企业、伙伴、高校与科研机构的代表共同探讨了如何更好地构建开源开放的昇腾生态,加速AI创新和发展。
会上,华为轮值董事长徐直军在主题演讲中强调:华为AI战略的核心是算力,并坚持昇腾硬件变现。徐直军在会上宣布华为昇腾硬件使能CANN全面开源开放,Mind系列应用使能套件及工具链全面开源,支持用户自主的深度挖潜和自定义开发,加速广大开发者的创新步伐,让昇腾更好用、更易用。
与会代表和华为共同发起了《CANN开源开放生态共建倡议》,以凝聚产业力量,共探AI边界,共建昇腾生态。
CANN(Compute Architecture for Neural Networks)是华为针对AI场景推出的异构计算架构,对上支持多种AI框架,对下服务AI处理器与编程,发挥承上启下的关键作用,是提升昇腾AI处理器计算效率的关键平台。华为昇腾硬件使能CANN全面开源开放,显然将有助于昇腾生态的共建。
值得注意的是,今年6月30日,华为宣布了开源盘古70亿参数的稠密模型、盘古Pro MoE 720亿参数的混合专家模型和基于昇腾的模型推理技术。此举被认为是华为践行昇腾生态战略的又一关键举措,旨在推动大模型技术的研究与创新发展,加速推进人工智能在千行百业的应用与价值创造。
据悉,昇腾作为华为专注于AI计算的生态战略抓手,通过持续的技术创新,推动AI技术的普及与应用。在今年的华为开发者大会上,新一代昇腾AI云服务也全面上线,目标是要打造最适合大模型应用的算力服务。
随着大模型训练和推理对算力需求的爆炸式增长,传统计算架构已难以支撑AI技术的代际跃迁。华为云新一代昇腾AI云服务基于CloudMatrix 384超节点,首创将384颗昇腾NPU和192颗鲲鹏CPU通过全新高速网络MatrixLink全对等互联,形成一台超级“AI服务器”,单卡推理吞吐量跃升到2300 Tokens/s,与非超节点相比提升近4倍。
据介绍,超节点架构能更好地支持混合多专家MoE大模型的推理,可以实现“一卡一专家”,一个超节点可以支持384个专家并行推理,极大提升效率;同时,超节点还可以支持“一卡一算子任务”,灵活分配资源,提升任务并行处理,减少等待,将算力有效使用率(MFU)提升50%以上。
华为方面表示,当前,昇腾AI云服务已经成为AI基础设施的最优选择,为科大讯飞、新浪、硅基流动、面壁智能、中国科学院、360等超过1300家客户提供澎湃的AI算力,加速千行万业智能化升级。