Don't Miss
AI耗電｜智能代理耗電高GenAI 136倍
By 信報財經新聞 on July 7, 2026
原文刊於信報財經新聞「CEO AI⎹ EJ Tech」
韓國科學技術院（KAIST）一項研究指出，人工智能（AI）代理於實際服務情景中，所花費的運算資源與算力，遠超傳統生成式AI（GenAI），如單次任務耗電量達GenAI的136.5倍，業界需要重新評估未來數據中心的用電效率與任務組合。
研究人員表示，傳統的大型語言模型（LLM）只有單次輸入、單次輸出，即使套用「思維鏈」（CoT）等推理增強機制，其耗能與工作複雜度亦不會太高；反觀AI代理不只生成文字，還會重複規劃工作、呼叫工具，再觀察結果和修改策略，直到完成任務為止，導致延遲率與成本大幅上升。
相較於CoT單次LLM推理，AI代理平均需要9.2倍以上的呼叫LLM次數，其中又以「語言智能體樹檢索」（LATS）機制最為誇張，因為它會同時嘗試多條推理路線，導致每個請求呼叫高達71次LLM推理。
工具本身速度亦會影響成本，例如本地網頁互動工具，呼叫時間可低至約20毫秒，但調用維基百科的應用程式介面（API），平均每次呼叫都要約1.2秒。對於數據中心來說，這種差距足以構成龐大資源浪費。
保留操作 記憶體需求增3倍
研究同時指出，AI代理的工作模式，令圖形處理器（GPU）必須等待下一步驟，閒置時間最高可達54.5%；此外，由於AI代理每做一步，都會把之前的回答和工具結果放回下一輪輸入，令記憶體需求增加至平均3倍以上。
儘管系統可以透過並行處理來改善吞吐，但代價是延遲上升。況且，AI進行更多步的反思，後期邊際成本可以高出31倍，多花了電費和等待時間，也未必能換來相稱的效果。
支持EJ Tech
如欲投稿、報料，發布新聞稿或採訪通知，按這裏聯絡我們。
