基于GPT-3的大语言模型训练任务刷新记录：NVIDIA H100加速卡仅用11分钟
【本站】6月28日消息，AI技术的蓬勃发展使得NVIDIA的显卡成为市场上备受瞩目的热门产品。尤其是高端的H100加速卡，其售价超过25万元，然而市场供不应求。该加速卡的性能也非常惊人，最新的AI测试结果显示，基于GPT-3的大语言模型训练任务刷新了记录，完成时间仅为11分钟。
据本站了解，机器学习及人工智能领域的开放产业联盟MLCommons发布了最新的MLPerf基准评测。其中包括8个负载测试，其中就包含基于GPT-3开源模型的LLM大语言模型测试，这对于评估平台的AI性能提出了很高的要求。
参与测试的NVIDIA平台由896个Intel至强8462Y+处理器和3584个H100加速卡组成，是所有参与平台中唯一能够完成所有测试的。并且，NVIDIA平台刷新了记录。在关键的基于GPT-3的大语言模型训练任务中，H100平台仅用了10.94分钟，与之相比，采用96个至强8380处理器和96个Habana Gaudi2 AI芯片构建的Intel平台完成同样测试所需的时间为311.94分钟。
H100平台的性能几乎是Intel平台的30倍，当然，两套平台的规模存在很大差异。但即便只使用768个H100加速卡进行训练，所需时间仍然只有45.6分钟，远远超过采用Intel平台的AI芯片。
H100加速卡采用GH100 GPU核心，定制版台积电4nm工艺制造，拥有800亿个晶体管。它集成了18432个CUDA核心、576个张量核心和60MB的二级缓存，支持6144-bit HBM高带宽内存以及PCIe 5.0接口。
H100计算卡提供SXM和PCIe 5.0两种样式。SXM版本拥有15872个CUDA核心和528个Tensor核心，而PCIe 5.0版本则拥有14952个CUDA核心和456个Tensor核心。该卡的功耗最高可达700W。
就性能而言，H100加速卡在FP64/FP32计算方面能够达到每秒60万亿次的计算能力，而在FP16计算方面达到每秒2000万亿次的计算能力。此外，它还支持TF32计算，每秒可达到1000万亿次，是A100的三倍。而在FP8计算方面，H100加速卡的性能可达每秒4000万亿次，是A100的六倍。
相关文章
- 联想小新AMD彩机家族2024版全线亮相，搭载锐龙7 8845H处理器引领新风尚
- 微软Teams升级：新增自定义昵称与邮件通知聊天功能，提升沟通效率
- 中国电信中部智算中心启用，引领中部地区智能计算新纪元
- 三星与SK海力士即将展示GDDR7显存，引领显卡技术新飞跃
- 三星V9 QLC闪存技术重磅来袭：280层堆叠引领存储新纪元
- 英特尔CEO基辛格透露：新款至强处理器Sierra Forest与Granite Rapids即将面世
- Intel携手台积电2nm工艺，Nova Lake或迎历史性架构升级
- 不再独享！Windows 11将把Surface AI降噪功能带给所有PC用户
- Topton推出L10笔记本电脑：7英寸触控屏成亮点
- 惠普星Book Pro 14 AI轻薄战力本重磅发布 加速消费级人工智能落地
- “橘宝”系列再添游戏本，两款新品通过3C认证即将上市
- 赛睿推出限量250把的APEX PRO MINI白金版机械键盘，售价高达2725元
- 英特尔3D封装技术Foveros实现大规模生产，助力芯片性能飞跃
- 业务调整导致和家亲相册停服，中国移动建议用户迁移数据
- 苹果CEO蒂姆·库克热烈庆祝Mac电脑40周年：颠覆与创新之路
- 中国移动和家亲相册服务正式停运，用户数据访问受限
系统下载排行榜71011xp
老机专用win7系统 纯净版 V2022
2深度技术Win7 64位豪华旗舰版 V2021.07
3深度技术Win7 64位豪华装机版 V2021.09
4深度技术 Ghost Win7 Sp1 旗舰版 V2022.01
5Win7 x64纯净旗舰原版 V2021.12
6技术员联盟Win7 64位极速稳定版 V2021.08
7风林火山Win7 32位旗舰激活版 V2021.07
8技术员联盟 Ghost Win7 荣耀典藏版 V2022.01
9番茄花园Win7 64位推荐旗舰版 V2021.05
10深度技术 Ghost Win7 64位 国庆特别版 V2021.10
深度技术Windows10 32位专业激活版 V2021.07
2技术员联盟Ghost Win10 64位正式版 V2021.10
3系统之家Ghost Win10 64位游戏专用版 V2021.04
4雨林木风 Ghost Win10 纯净版 V2021.11
5番茄花园Win10 64位全新专业版 V2021.03
6技术员联盟 Ghost Win10 纯净稳定版 V2021.12
7深度技术Win10 32位专业稳定版 V2021.05
8深度技术Win10系统 最新精简版 V2021.09
9风林火山Win10 64位专业纯净版 V2021.08
10Win10 企业版 LTSC 最新正式版 V2021
萝卜家园 Ghost Win11 64位 免激活专业版 V2022.01
2风林火山 Ghost Win11 专业版 V2022.01
3技术员联盟 Ghost Win11 64位 极速装机版 V2022.01
4风林火山 Ghost Win11 正式版 V2021.11
5电脑公司 Ghost Win11 64位 官方专业版 V2021.11
6雨林木风Ghost Win11正式中文版 V2021.09
7系统之家Windows11 64位专业激活版 V2021.07
8系统之家 Ghost Win11 X64 永久激活版 V2022.01
9新版系统番茄花园Win11镜像 V2021.10
10深度技术 Ghost Win11 64位 专业版 V2022.01
番茄花园Ghost XP Sp3纯净版 V2021.08
2系统之家Ghost WinXP SP3专业版 V2021.10
3电脑公司 Windows XP 经典版 V2021.04
4风林火山WindowsXP Sp3专业版 V2022.01
5萝卜家园 Windows Sp3 XP 经典版 V2021.04
6深度技术Windows XP SP3 经典专业版 V2021.06
7番茄花园WindowsXP Sp3专业版 V2021.06
8萝卜家园WindowsXP Sp3专业版 V2021.05
9技术员联盟 Ghost WinXP SP3 精简版 V2021.12
10电脑公司WindowsXP Sp3专业版 V2021.05
热门教程 更多+
Win10提示你的设备中缺少重要的安全和质量修复的解决方法
2Win10微软商店怎么安装不了软件？Win10微软商店无法安装软件解决方法
3Win10专业版升级Win11正式版图文教程
4老电脑强制安装Win11 老电脑完美升级Win11的方法
5微软应用商店删了在哪下载？Win11安装新版应用商店教程
6Win10任务栏出现两个输入法图标怎么办？
7Win10每次开机都要请稍候等很久怎么办？
8Win8系统如何重装Win7系统？Win8系统重装Win7系统的方法
9Win10提示WHEA_UNCORRECTABLE_ERROR蓝屏代码怎么办？
10解决Win11和Win10中谷歌Chrome浏览器速度慢问题的7种方法
装机必备 更多+
重装教程 更多+
电脑教程专题 更多+
