英伟达宣布，其人工智能计算平台再次刷新了MLPerf基准测试的性能纪录。这一成就进一步巩固了该公司在业界唯一的独立基准中，衡量硬件、软件和服务的人工智能性能的领先地位。
NVIDIA在最新的MLPerf Inference第二版测试中，成功赢得了针对数据中心和边缘计算系统的所有六个应用领域的测试。这些测试从最初的计算机视觉扩展到涵盖四个领域，涉及人工智能增长最快的领域，包括推荐系统、自然语言理解、语音识别和医学成像。
各行各业的企业正在利用NVIDIA A100 Tensor Core GPU的卓越推理性能，将人工智能技术从研究团队应用于日常运营。金融机构使用对话式AI来更高效地回应客户咨询，而零售商则利用AI来监控和管理货架库存。同时，医疗保健提供者通过AI分析数百万幅医学图像，以更准确地识别疾病并挽救生命。
MLPerf的最新结果反映出NVIDIA在AI推理领域的快速扩展。五年前，只有少数高科技公司开始使用GPU进行推理，而如今，NVIDIA的AI平台已通过每个主要的云服务和数据中心基础设施提供商普及，各行各业的公司都在利用其AI推理平台来优化业务和提供更多服务。
此外，与CPU相比，NVIDIA的GPU首次在公共云中提供了更多的AI推理能力。NVIDIA GPU的云AI推理计算能力每两年大约增长10倍。
NVIDIA正在推动AI推理的崭新高度
NVIDIA及其合作伙伴利用NVIDIA加速平台提交了MLPerf 0.7的结果，该平台包括NVIDIA数据中心GPU、边缘AI加速器以及经过优化的软件。
今年早些时候推出的NVIDIA A100，采用了第三代Tensor Core和多实例GPU技术，在ResNet-50测试中进一步提升了领先优势，现已在上一轮中以30倍的优势超越CPU，性能提高了6倍。此外，根据MLPerf Inference 0.7基准测试，A100在最新的数据中心推理推荐测试中，其性能比最新的CPU高出237倍。
这意味着单个NVIDIA DGX A100系统能够提供与大约1000个双插槽CPU服务器相同的性能，使客户在将AI推荐模型从研究应用于生产时获得极高的成本效益。
基准测试还显示，NVIDIA T4 Tensor Core GPU依然是主流企业、边缘服务器及经济型云实例的可靠推理平台。在相同测试中，NVIDIA T4 GPU的性能比CPU高出28倍。此外，NVIDIA Jetson AGX Xavier在基于SoC的边缘设备中表现突出，成为性能领头羊。
要获得这些结果，需要高度优化的软件堆栈，包括NVIDIA TensorRT推理优化器和NVIDIA Triton推理服务软件，这两种软件均可在NVIDIA的软件目录NGC中找到。
除了NVIDIA自己提交的文件外，还有11个合作伙伴利用NVIDIA GPU提交了总共1,029个结果，占数据中心和边缘类别提交总数的85%以上。
