苏州芯矽电子科技有限公司
联系人:陈经理
号码:18914027842
邮箱:Jakechen@szsi-tech.com
地址:江苏省苏州市工业园区江浦路41号
Trainium3 专为满足下一代生成式 AI 工作负载的高性能需求而设计。
12月3日,亚马逊旗下AWS CEO Matt Garman宣布,将推出全新 Trainium3,这是自家首款采用3nm制程的芯片,与上代 Trainium2 相比,计算能力增加2倍,能源效率提升40%,预计2025年底问世。
Matt Garman 指出,Trainium3 专为满足下一代生成式 AI 工作负载的高性能需求而设计,有助客户更快地建立更大的模型,并在部署模型时提供卓越的效能,且由 Trainium3 驱动的 UltraServers 预计将比 Trn2 UltraServers 的效能高出四倍。
据Garman透露,目前包括Adobe、AI新创公司Poolside、数据平台服务Databricks以及芯片大厂高通都通过Trainium2处理器训练其AI模型,其中,高通在云端计算AI模型后再将其传送至边缘端。
此前有报道称,亚马逊云计算部门的高管正在大举投资定制芯片,希望提高其数十个数据中心的效率,最终降低其自身以及亚马逊AWS客户的成本。亚马逊AWS目标是与英伟达竞争,后者凭借在AI芯片市场的主导地位,成为全球最有价值的公司之一。
TechInsights分析师G Dan Hutcheson曾表示:“AWS的一大优势是他们的芯片可以使用更少的电量,他们的数据中心可能可以更高效”,从而降低成本。他说,如果英伟达的图形处理单元(GPU)是强大的通用工具,那么亚马逊可以针对特定任务和服务优化其芯片。
苹果开始使用亚马逊的定制人工智能芯片
苹果目前使用亚马逊网络服务的定制人工智能芯片进行搜索等服务,并将评估该公司的最新人工智能芯片是否可以用于预训练其模型,如苹果智能。
近日,苹果在一年一度的AWS Reinvent大会上披露了其对亚马逊专有芯片的使用。苹果机器学习与人工智能高级总监Benoit Dupin上台介绍了苹果是如何使用云服务的。这是公司正式允许供应商将他们标榜为客户的罕见例子。
苹果的Dupin说:“我们有很强的关系,基础设施既可靠,又能为全球客户服务。”
苹果在亚马逊的会议上亮相,并拥抱该公司的芯片,是在与微软Azure和谷歌云争夺人工智能支出之际,对云服务的大力支持。苹果也使用这些云服务。
Dupin说,苹果已经使用AWS服务超过十年了,包括Siri,Apple Maps和Apple Music。例如,苹果使用亚马逊的Inferentia和Graviton芯片来服务搜索服务,Dupin表示亚马逊芯片提高了40%的效率。
但Dupin也暗示,苹果将使用亚马逊的Trainium2芯片对其专有车型进行预训练。这表明,与英特尔和AMD的x86中央处理器相比,亚马逊的处理器不仅是一种成本效益高的推理AI模型的方式,而且还可以用于开发新的AI。亚马逊宣布,其Trainium2芯片一般可供租赁。
Dupin说:“在评估Trainium2的早期阶段,我们预计早期人数在预训练时效率会提高多达50%。”
AWS首席执行官Matt Garman在周二接受采访时表示,苹果一直是该公司Trainium芯片的早期采用者和测试者。
AWS首席执行官马特·加曼告诉凯特·鲁尼说:“苹果来找我们,对我们说,‘你们能帮助我们实现生成式人工智能的能力吗?我们需要基础设施来构建’,他们对构建苹果智能有着这样的愿景。”
今年早些时候,苹果在一份研究论文中表示,它已经使用谷歌云TPU芯片来训练其iPhone人工智能服务,它称之为苹果智能。
大多数人工智能训练都是在昂贵的英伟达图形处理器上完成的。云提供商和初创公司正在竞相开发降低成本的替代方案,并探索可能带来更高处理效率的不同方法。苹果使用定制芯片可能向其他公司发出信号,表明非英伟达的培训方法可以奏效。
预计 AWS 将在周二宣布有关提供基于 Nvidia Blackwell 的 AI 服务器以供出租的新细节。
今年秋天,苹果发布了其首个主要生成式人工智能产品。Apple Intelligence是一系列服务,可以汇总通知、重写电子邮件和生成新的表情符号。该公司表示,本月晚些时候,它将与OpenAI的ChatGPT集成,明年,Siri将获得控制应用程序和自然说话的新能力。
与领先的聊天机器人,如OpenAI的ChatGPT不同,苹果的人工智能方法不是基于云中的大量基于Nvidia的服务器。相反,苹果使用iPhone、iPad或Mac芯片来尽可能多地完成处理,然后将复杂的查询发送给使用其M系列芯片的苹果操作服务器。