Echo

Echo 关注TA

大家好,我是Echo!

Echo

Echo

关注TA

大家好,我是Echo!

  • 加入社区2,199天
  • 写了311,242,886字

该文章投稿至Nemo社区   资讯  板块 复制链接


谷歌推出 TpuGraphs 训练数据集:用于优化编译器,可强化 AI 模型深度学习能力

发布于 2023/12/21 15:37 177浏览 0回复 709

IT之家 12 月 21 日消息,谷歌日前推出一款名为 TpuGraphs 的模型训练数据集,主要用于“优化编译器”、“提升 AI 深度学习能力”。

▲ 图源 谷歌博客(下同)

谷歌指出,当下 AI 深度学习系统通常使用 TensorFlow、JAX、PyTorch 等框架训练而成,这些框架主要通过底层编译器的启发式算法(Heuristic Algorithm)优化模型,而在相关编译器中运用“学习成本模型”,即可改善编译器的性能,并提升最终输出模型的深度学习能力

IT之家获悉,谷歌推出的 TpuGraphs 数据集正是一款“学习成本模型”,这款数据集的内容主要来自各种开源深度学习程序,涵盖多种热门模型架构,例如 ResNet、EfficientNet、Mask R-CNN 和 Transformer 等。

与业界竞品相比,谷歌 TpuGraphs 数据集“平均图大小”相比业界训练集大了 770 倍、“图数量”则是对了 25 倍。谷歌声称,为编译器应用 TpuGraphs 数据集可有效解决最终输出的模型“可扩展性”、“效率”和“质量”等问题。

此外,谷歌还介绍了一种名为 GST(Graph Segment Training)的模型训练方法,允许在 RAM 有限的设备中训练大型图神经网络。该方法号称能够令模型“端到端训练时间”加速 3 倍,有效提高模型训练效率。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。


本文由LinkNemo爬虫[Echo]采集自[https://www.ithome.com/0/740/737.htm]

本文标签
 {{tag}}
点了个评