您的位置:首页 >精选百科 >

搜狐AI据称运行模型速度比NvidiaH100GPU快20倍且更便宜

导读 Etched是一家专注于制造变压器的初创公司,该公司刚刚宣布推出Sohu,这是一款专用集成电路(ASIC),据称在AILLM推理方面超越了Nvidia的H100...

Etched是一家专注于制造变压器的初创公司,该公司刚刚宣布推出Sohu,这是一款专用集成电路(ASIC),据称在AILLM推理方面超越了Nvidia的H100。据说一台8xSohu服务器的性能相当于160个H100GPU,这意味着如果Sohu达到预期,数据处理中心可以节省初始成本和运营成本。

据该公司称,当前的AI加速器(无论是CPU还是GPU)都是为与不同的AI架构配合使用而设计的。这些不同的框架和设计意味着硬件必须能够支持各种模型,如卷积神经网络、长短期记忆网络、状态空间模型等。由于这些模型对不同的架构进行了调整,因此大多数当前的AI将其计算能力的很大一部分分配给可编程性。

大多数大型语言模型(LLM)使用矩阵乘法来完成大部分计算任务,而Etched估计Nvidia的H100GPU仅将3.3%的晶体管用于这一关键任务。这意味着剩余的96.7%硅用于其他任务,这对于通用AI来说仍然是必不可少的。

然而,TranormerAI架构最近变得非常流行。例如,ChatGPT可以说是当今最受欢迎的LLM,它基于Tranormer模型。事实上,它的名字就说明了这一点—Chat生成式预训练Tranormer(GPT)。其他竞争模型,如Sora、Gemini、StableDiffusion和DALL-E也都基于Tranormer模型。

几年前,Etched启动搜狐项目时,在tranormer上下了很大的赌注。这款将tranormer架构嵌入硬件中,从而允许它为AI计算分配更多晶体管。我们可以将其与处理器和显卡进行比较——假设当前的AI是CPU,它可以做很多不同的事情,那么tranormer模型就像游戏标题的图形需求。当然,CPU仍然可以处理这些图形需求,但它不会像GPU那样快速或高效地完成。专门处理视觉效果的GPU将使图形渲染更快、更高效,这是因为它的硬件是专门为此设计的。

Etched和搜狐合作时就是这样做的。它没有制造一款可以适应每种AI架构的,而是制造了一款仅适用于tranormer模型的。当它在2022年启动该项目时,ChatGPT甚至还不存在。但随后它在2023年爆红,现在看来,该公司的赌注即将获得巨大回报。

Nvidia目前是全球最有价值的公司之一,自AIGPU需求激增以来,该公司的营收创下了历史新高。该公司甚至在2023年出货了376万台数据中心GPU,今年这一数字还有进一步增长的趋势。但搜狐的推出可能会威胁到Nvidia在AI领域的领导地位,尤其是如果专门使用Tranormer模型的公司转向搜狐的话。毕竟,效率是赢得AI竞赛的关键,任何能够在最快、最实惠的硬件上运行这些模型的人都将占据领先地位。

免责声明:本文由用户上传,如有侵权请联系删除!