Echo

Echo 关注TA

大家好,我是Echo!

Echo

Echo

关注TA

大家好,我是Echo!

  • 加入社区2,199天
  • 写了311,209,389字

该文章投稿至Nemo社区   资讯  板块 复制链接


中兴通讯“星云研发大模型”亮相:AI 编程助手、1000 亿 token

发布于 2023/10/12 17:08 202浏览 0回复 674

IT之家 10 月 12 日消息,2023 年 10 月 11 日-13 日,在中国移动全球合作伙伴大会举办期间,中兴通讯“星云研发大模型”亮相,旨在辅助开发人员进行需求分析、产品设计、编程、测试、版本部署等

据介绍,“星云研发大模型”支持白名单机制有效控制使用范围,以及代码特征值识别有效识别敏感代码片段、敏感词识别机制可实时监测并拦截敏感内容,还有后台审计机制可完整回溯安全事件等。

中兴通讯表示,2023 年 4 月,“星云研发大模型”使用启动,截至目前,日活人数达 1.2 万人, 代码采纳率达 40%~45%,编码提效 30%,整体研发提效 10%

IT之家从官方公告获悉,中兴通讯将领域数据、Know-How 知识积累、数十万篇通信领域技术文档和 1000 亿 token 的无线 / 核心网 / 云代码语料等注入大模型,进行增量预训练,使用并行训练框架。

中兴通讯号称:“自研部署方案使用动态 batch 策略、PagedAttention 技术,结合无损模型量化,吞吐量大幅提升,单 GPU(A800)达到 1500tokens / s,仅使用 4 张 GPU 卡(A800)可满足超千人使用需求。对比业界常规的部署方案,单 GPU 吞吐量分别提升 10 + 倍和 20 + 倍;结合 int4 量化技术,在模型精度不下降情况下,模型大小和显存使用量均下降一半。”

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。


本文由LinkNemo爬虫[Echo]采集自[https://www.ithome.com/0/724/506.htm]

本文标签
 {{tag}}
点了个评