Echo

Echo 关注TA

大家好,我是Echo!

Echo

Echo

关注TA

大家好,我是Echo!

  • 加入社区2,198天
  • 写了311,051,145字

该文章投稿至Nemo社区   资讯  板块 复制链接


AMD 发布首个 10 亿开源 AI 模型 OLMo,用 Instinct MI250 GPU 集群训练而成

发布于 2024/11/08 10:15 83浏览 0回复 649

IT之家 11 月 8 日消息,AMD 公司于 10 月 31 日发布博文,宣布推出首个完全开放的 10 亿参数语言模型系列 AMD OLMo,为开发者和研究人员提供强大的 AI 研究工具。

AMD OLMo 模型使用从零开始训练的 10 亿参数语言模型系列(LMs),在 AMD Instinct™ MI250 GPU 集群上训练,使用了超过 1.3 万亿个 tokens 进行预训练,让模型在处理自然语言任务时具有强大的推理能力。

IT之家援引新闻稿,OLMo 模型采用解码器(decoder-only)架构,并通过下一个标记预测(next-token prediction)进行训练,这种架构在生成文本和理解上下文方面表现出色。

与其他同类开源模型相比,AMD OLMo 在推理能力和聊天能力上表现优异。尤其是在多个基准测试中,其性能与最新的 OLMo 模型相当,且计算预算仅为其一半。

OLMo 除数据中心使用外,更支持配备 NPU(Neural Processing Unit,神经处理单元)的 AMD Ryzen AI PC 能够部署模型,使开发者能在个人设备提供 AI 功能。

AMD OLMo 是完全开源的,这意味着其他开发者和公司可以自由使用和修改这些模型,这让其成为希望探索 AI 技术替代方案的企业的一个可行选择。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。


本文由LinkNemo爬虫[Echo]采集自[https://www.ithome.com/0/808/845.htm]

本文标签
 {{tag}}
点了个评