Cerebras|推AI伺服器撼輝達
原文刊於信報財經新聞「CEO AI⎹ EJ Tech」
被視為輝達(Nvidia)勁敵的人工智能(AI)晶片初創Cerebras Systems,昨發表新版伺服器硬件AI加速器CS-4【圖】,其推理速度比圖像處理器(GPU)系統快30倍。
CS-4屬於台積電5納米製程,採用3顆新型WSE-3 Turbo晶圓級引擎,是至今為止最大的AI處理器,其AI運算能力高達750 PFLOPS,記憶體頻寬達129.6 PB/s,預計今年第三季起出貨。
快GPU推理30倍 支援超巨模型
WSE-3T整合4萬億個電晶體及90萬個AI優化核心,並將44GB靜態隨機存取記憶體(SRAM),直接整合在晶圓上。
CS-4 AI系統在特定應用中,提供比上一代CS-3高出兩倍的詞元(Token)生成速度、6倍的系統級性能,以及每瓦特高達10倍的詞元產量,可支援超過50萬億參數的模型。
在GPT-OSS-120B測試中,CS-4每個用戶每秒生成超過4400個詞元,比現時最快的GPU推理服務快30倍。消息指出,Cerebras驅動的系統,在11小時11分26秒內,完成全部2500題基準測試;相較之下,傳統GPU系統需要3天多的時間。此外,Cerebras正擴大數據中心的規模,明年底將有600兆瓦(MW)的電力投入使用或簽訂合同。
此外,發布會亦重點介紹與OpenAI及超微半導體(AMD)的合作,包括AMD-GPU與Cerebras的分工,GPU負責推理的「預先填充」階段,即AI模型處理輸入上下文,Cerebras系統負責「解碼」部分,即逐個生成詞元的階段。這種組合的推理速度,不但可以比GPU快10倍,吞吐量比單獨使用Cerebras高出5倍。
支持EJ Tech
如欲投稿、報料,發布新聞稿或採訪通知,按這裏聯絡我們。


















