面向大模型训练,腾讯云发布新一代高性能计算集群
4月14日,腾讯云正式发布新一代HCC(High-Performance Computing Cluster)高性能计算集群。该集群采用腾讯云星星海自研服务器,搭载英伟达最新代次H800 GPU,服务器之间采用业界最高的3.2T超高互联带宽,为大模型训练、自动驾驶、科学计算等提供高性能、高带宽和低延迟的集群算力。
实测显示,腾讯云新一代集群的算力性能较前代提升高达3倍,是国内性能最强的大模型计算集群。
大模型进入万亿参数时代,单体服务器算力有限,需要将大量服务器通过RDMA网络相连,打造大规模算力集群。通过对处理器、网络架构和存储性能的全面优化,腾讯云攻克了大集群场景下的算力损耗问题,能为大模型训练提供高性能、高带宽、低延迟的智算能力支撑。
(资料图)
网络层面,计算节点间存在海量的数据交互需求,随着集群规模扩大,通信性能会直接影响训练效率。腾讯自研的星脉网络,为新一代集群带来了业界最高的3.2T的超高通信带宽。实测结果显示,搭载同样的GPU,3.2T星脉网络相较1.6T网络,能让集群整体算力提升20%,让超大算力集群仍然能保持优秀的通信开销比和吞吐性能。并提供单集群高达十万卡级别的组网规模,支持更大规模的大模型训练及推理。
存储层面,几千台计算节点同时读取一批数据集,需要尽可能缩短加载时长。腾讯云自研的文件存储、对象存储架构,具备TB级吞吐能力和千万级IOPS,充分满足大模型训练的大数据量存储要求。
底层架构之上,针对大模型训练场景,新一代集群集成了腾讯云自研的TACO Train训练加速引擎,对网络协议、通信策略、AI框架、模型编译进行大量系统级优化,大幅节约训练调优和算力成本。
腾讯混元大模型背后的预训练框架AngelPTM,也已通过腾讯云对外提供服务,帮助企业加速大模型落地。
去年10月,腾讯基于自研的高性能计算集群和预训练框架AngelPTM,完成了首个万亿参数大模型训练,并将训练时间缩短80%。腾讯混元AI大模型,已经覆盖了自然语言处理、计算机视觉、多模态等基础模型和众多行业、领域模型,广泛应用于腾讯微信搜索、腾讯广告等自有业务场景,提升搜索体验和广告推荐的精准度。
在腾讯云上,企业基于TI 平台的大模型能力和工具箱,可结合产业场景数据进行精调训练,提升生产效率,快速创建和部署 AI 应用。
此前,腾讯多款自研芯片已经量产。其中,用于AI推理的紫霄芯片、用于视频转码的沧海芯片已在腾讯内部交付使用,性能指标和综合性价比显著优于业界。其中,紫霄采用自研存算架构,增加片上内存容量并使用更先进的内存技术,消除访存能力不足制约芯片性能的问题,同时内置集成腾讯自研加速模块,减少与CPU握手等待时间。目前,紫霄已经在腾讯头部业务规模部署,提供高达3倍的计算加速性能,和超过45%的整体成本节省。
目前,腾讯云的分布式云原生调度总规模超过1.5亿核,并提供16 EFLOPS(每秒1600亿亿次浮点运算)的智算算力。未来,新一代集群不仅能服务于大模型训练,还将在自动驾驶、科学计算、自然语言处理等场景中充分应用。
以新一代集群为标志,基于自研芯片、星星海自研服务器和分布式云操作系统遨驰,腾讯云正通过软硬一体的方式,打造面向AIGC的高性能智算网络,持续加速全社会云上创新。
关键词:
相关新闻
- 面向大模型训练,腾讯云发布新一代高性能计算集群
- 淘宝怎么评价商家店铺_淘宝怎么评价
- 内蒙古全力做好大风沙尘天气公路养护|当前速看
- 默沙东皮下注射版PD-1启动三期临床;国内首 款ANGPTL3 siRNA获批临床
- 登海种业:4月13日融券卖出6.32万股,融资融券余额2.28亿元 每日热门
- 每日快看:裸婚是什么意思需要准备一些什么-裸婚是什么意思
- 广东省上年度在岗职工月平均工资_职工月平均工资
- 手机屏幕暗和亮哪个好?
- 肯德基缤纷节日桶广告_肯德基缤纷节日桶 每日观点
- 奥亚尔——老手段老套路今天下午我就发了,关于奥亚...|环球报资讯
- 世界观速讯丨官方售价27.38-30.88万元 魏牌蓝山DHT-PHEV正式上市
- 每日快播:丁威迪回复库兹马:我当二当家进季后赛 奇才有3个顶薪球员却没进
- Epic平台免费领取《消逝的光芒:增强版》活动即将结束!别忘了 环球要闻
- 环球通讯!文艺评论|《人生之路》:在围绕上海的续写中面向未来
- 2023厦门国际会展周特色亮点介绍
- 今日新聘基金经理8人,离任1人 -天天日报
- 高通和小米在全球范围展示移动端米级定位:提供卓越用户体验
- 街道回应保安亭顶成网红打卡点:将移除,已设置路锥加强巡逻_当前看点
- 无锡市旅游景点大全排名_无锡市旅游景点大全
- 巴菲特称除了美银,已抛售大部分银行股!
- 吕迪格:图赫尔的执教理念在另一层次,他对我加盟皇马起很大作用_天天热资讯
- 星途星纪元STERRA ES内饰设计草图首发,将于上海车展首秀
- 全球热头条丨昆仑万维与阿里云达成战略合作 将新建智算中心支撑大模型创新
- 东方甄选豪掷“红包”,为何大手笔奖励百名员工?