关节字: [Graviton]

本笔墨数: 500, 阅读完需: 2 分钟

导读

在这场演讲中,演讲者探讨了亚马逊云科技 Graviton 处理器如何为生成式东谈主工智能模子完结高效推理。他们阐释谈,Graviton 实例妥当部署参数数目较少的袖珍到中型谈话模子,并展示了在 Graviton 3 和 Graviton 4 实例上初始的 8 亿参数模子。该演讲重心暖热 Graviton 处理器如何为东谈主工智能推理责任负载带来更低延伸、更高轮廓量以及更优本钱和能源遵守。

演讲精华

在现在科技连忙发展的期间,东谈主工智能和机器学习仍是成为了百行万企的关节驱能源。亚马逊云科技(亚马逊云科技)看成云蓄意界限的引导者,一直在不断改进和优化其居品和职业,以欣忭客户日益增长的需求。其中,Graviton 处理器便是 亚马逊云科技 在高效蓄意界限的一大改进效果。

Graviton 处理器的想象初志是为了提供高性能、低功耗的蓄意才能,尤其是在东谈主工智能和机器学习推理方面。亚马逊云科技 居品司理 Jeff Underhill 诠释谈,AI/ML 责任负载频频是蓄意密集型或带宽密集型的,因此不错在 CPU 上初始部分任务,而 GPU 则更妥当加快器责任负载。Graviton 处理器碰劲在这两者之间找到了均衡,为 AI/ML 推理提供了高效的蓄意才能。

亚马逊云科技 首席居品司理 Suniti Nadampali 进一步施展了 Graviton 处理器在提拔不同范围的 AI/ML 模子和千般使用场景方面的无邪性。从几百万参数到数百亿参数的模子,从离线巨额量推理到及时单个推理,Graviton 实例齐不错欣忭不同需求。这种无邪性关于 亚马逊云科技 客户来说是一大上风,因为他们不错左证我方的具体需求聘任最合适的措置决议。

为了让 Graviton 处理器施展出最大后劲,亚马逊云科技 团队在硬件和软件层面齐进行了大改换进和优化。在硬件方面,Graviton 处理器提拔 BFloat16 方法、矩阵乘法加快指示等特色,不错显耀提高蓄意性能。最新的 Graviton 4 实例更是提供了更高的单线程性能、更多内核数目和更宽的内存带宽,进一步增强了蓄意才能。

在软件层面,亚马逊云科技 与 ARM 和谐,将 Graviton 特色集成到主流机器学习框架中,如 PyTorch、TensorFlow 和 Scikit-learn。通过量化和其他优化技艺,这些框架不错在 Graviton 实例上取得更好的性能和更低的延伸。举例,在 PyTorch 2.4 版块中,亚马逊云科技 团队为 Graviton 实例提供了 TorchCompile 优化,使得在当然谈话处理、蓄意机视觉和保举系统等界限,模子的性能不错提高 2 倍,延伸裁减一半。

为了更直不雅地展示 Graviton 处理器的上风,Suniti 在现场进行了一个生成式东谈主工智能(GenAI)模子推理的演示。她使用了 llama-cpp 框架在 Graviton 3 实例上部署了一个 80 亿参数的 GenAI 模子。在评估 GenAI 模子性能时,有两个关节认识需要暖热:提醒编码延伸和秀丽生成轮廓量。提醒编码延伸指的是模子探求输入险峻文所需的时分,而秀丽生成轮廓量则反馈了模子生成响应的速率。在演示中,Graviton 3 实例的提醒编码延伸仅为 50 毫秒,秀丽生成轮廓量高达每秒 45 个秀丽,远远跨越了东谈主类阅读和探求的速率。

为了进一步展示 Graviton 处理器的性能擢升,Suniti 随后在 Graviton 4 实例上初始了交流的责任负载。限度浮现,Graviton 4 实例的秀丽生成轮廓量比 Graviton 3 实例提高了 40% 以上,达到了每秒 65 个秀丽的惊东谈主水平。这种性能飞跃的背后,恰是 Graviton 4 实例在硬件层面的改进,如更精深的内核、更宽的内存带宽等。

除了出色的性能表示,Graviton 处理器在可握续性方面也有显耀上风。Jeff Underhill 指出,由于 Graviton 处理器的高能效想象和数据中心层面的改进,初始在 Graviton 实例上的责任负载不错完结高达 60% 的可握续性改善。这关于那些制定了碳排放标的的企业来说,无疑是一大福音。

总的来说,亚马逊云科技 正在运用 Graviton 处理器的改进来提拔高效的 AI/ML 和 GenAI 推理,为客户提供更多聘任来部署这些责任负载。不仅如斯,Graviton 实例还不错匡助客户裁减本钱和碳排放,完结可握续发展。举例,一家名为 Sprinkler 的公司就在 Graviton 3 实例上初始 AI 责任负载,取得了 20% 到 30% 的性能擢升和约 20% 的本钱莽撞。

跟着东谈主工智能和机器学习技艺的不断发展,对高性能和高效蓄意的需求也将车载斗量。通过 Graviton 处理器的改进,亚马逊云科技 正在为客户提供一种全新的聘任,匡助他们在这场技艺革掷中占据上风。

追念

这篇演讲探讨了亚马逊云科技 Graviton 处理器在高效且经济实惠地部署生成式东谈主工智能 (GenAI) 推理责任负载方面的才能。它强调了不同范围的东谈主工智能/机器学习模子和使用场景的千般性,需要一种多功能的蓄意措置决议。Graviton 处理器凭借其节能想象和硬件改进,如 BFloat16 提拔和矩阵乘法加快,成为在 CPU 上初始东谈主工智能/机器学习责任负载的一个引东谈主严防的聘任。

最新的 Graviton 4 实例领有更多的中枢数目、更大的内存带宽和更好的单线程性能,粗略部署更大的模子。演讲者运用优化的 llama-cpp 框架,展示了一个 80 亿参数模子的量化和推理,在 Graviton 实例上展现了令东谈主印象深远的提醒编码延伸和秀丽生成轮廓量。

演讲强调了软件优化的弥留性,亚马逊云科技为开源框架如 PyTorch 作念出孝顺,以充分运用 Graviton 的硬件才能。Graviton 的节能和性能纠正也有助于完结可握续发展标的,在提供交流的蓄意输出的同期减少碳排放。总的来说,这篇演讲凸起了亚马逊云科技痛楚于于为千般化的东谈主工智能/机器学习界限提供高效且可推广的蓄意聘任,而 Graviton 处理器在完结 CPU 上经济实惠的 GenAI 推理方面施展着关节作用。

亚马逊云科技（Amazon Web Services）是人人云蓄意的首创者和引颈者。提供200多类平凡而深入的云职业，职业人人245个国度和地区的数百万客户。亚马逊云科技痛楚于于成为企业构建和应用生成式AI的首选，通过生成式AI技艺栈，提供用于模子锻练和推理的基础要领职业、构建生成式AI应用的大模子等器具、以及开箱即用的生成式AI应用。深耕腹地、相接人人 -- 在中国，亚马逊云科技通过安全、相识、实在赖的云职业体育游戏app平台，助力中国企业加快数字化转型和改进，并深度参与人人化商场。