IT之家 11 月 13 日消息,中国人工智能产业联盟第十三次全会于 11 月 12 日在北京召开,华为数据存储联合中国信通院、工信部人工智能关键技术和应用评测实验室、工商银行、中国移动、中国联通、百度、阿里云、腾讯云、蚂蚁集团等正式发起“大模型基础设施高质量发展行动计划”。
IT之家从大会获悉,该计划以提升大模型基础设施的质量与效能为目标,共同加快布局“高效计算调度 + 高性能 AI 存储 + 高通量网络 + 高效能开发平台 + 智能化运维平台”,助力大模型工程化落地。
华为闪存存储领域总裁黄涛表示,人类利用数据在 AI 领域取得长足发展,数智时代是数据的黄金时代,随着数据规模爆炸式增长、数据价值不断攀升,但同时我们面临 xPU 与存储的带宽不足、算力集群可用度低、推理时延长等挑战,这对存储提出更高要求。黄涛提出,具备极致性能、高扩展性、数据韧性、可持续发展、新数据范式以及数据编织能力的新一代 AI 存储是通往 AI 数智时代的必由之路。
黄涛还称,随着大模型的规模法则(Scaling Law)不断演进,无论是在进行 CKPT 的并行保存与加载、多模态数据的收集与清洗、全局数据的 Shuffle(混洗)与模态对齐,还是 AI 算法的调优以及大规模集群的运维诊断跟踪,都迫切需要一个全局对等共享、单一命名空间、且具备高性能并行读写能力的大型文件系统。这样的系统能够避免多文件系统和多集群之间联邦式的低效堆叠,从而显著简化大规模集群环境下的数据调度和数据管理流程,进而持续提高数据供应的效率。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
本文由LinkNemo爬虫[Echo]采集自[https://www.ithome.com/0/810/145.htm]