慎防智能代理「無聲」脫軌（車品覺）
本文作者車品覺，為港交所獨立非執行董事、香港基因組中心董事、香港大學中國商業學院客座副教授，為《信報》撰寫專欄「全民大數據」。
試想想，人工智能（AI）系統已在生產環境中完成部署，但究竟要如何防止AI「悄然失靈」？過去3個月，全球超大規模企業在AI基礎設施上的資本支出達到一個前所未有的量級。單憑這一數據，人們或許會得出結論：AI的生產化部署正在全力推進，市場充滿信心。
然而，7月份第一周，來自不同領域的幾個訊號同時浮現，揭示出一個更為複雜的真相。一邊是史無前例的基礎設施投資；另一邊是一群深諳「系統可靠性」的專家──那些專門協助企業管理數字營運風險的精英，正公開表達一項非比尋常的憂慮。他們的憂慮並非AI無用，他們所憂心的，是AI代理難以有效偵測故障。傳統軟件故障相對明確，例如伺服器當機，你便立刻知道；警報響起，有值班工程師搶救。
但有別於一般故障，AI代理不會當機，它只是悄然「漂移」。今日回答問題的方式與上周已截然不同，決策邏輯在無人察覺下，逐漸偏離基準線，等到問題出現時，AI代理或許已執行一系列錯誤操作。這種故障模式，被一間全球領先的營運管理平台描述為「較傳統軟件崩潰更難檢測」。這並非理論推測，而是在生產環境運行數百萬監控工作負載後所觀察到的實際狀況。
與此同時，一項針對大型企業的調查顯示，絕大多數組織仍在試點階段苦苦掙扎，真正從生成式AI中獲取可衡量的回報比例遠低於市場預期。這並非否定AI的價值，而這是執行層面的現實：從試驗到規模化部署之間的鴻溝，比大家想像的還要巨大。
這對策略制定者意味着什麼？若你正在策劃下一階段的AI部署，有幾個問題值得思考：貴團隊是否具備監控應用環境中代理「漂移」行為的能力，而不僅僅是追蹤其「運行狀態」？貴公司AI投資的回報預期，是基於試用階段的理想情景，還是已納入規模化後的營運成本，涵蓋故障偵測、人工介入與系統修復等環節？
當基礎設施支出創下歷史新高之際，市場焦點自然聚焦於「誰的執行速度更快」。然而，2026下半年的關鍵挑戰，或許在於「誰的營運更穩定」。在競爭對手紛紛加速的時代，審慎常被誤解為猶豫不決。不過，有時最致命的風險並非行動遲緩，而是過於急躁，以致未能察覺系統已在無人察覺之時悄然偏離正軌，企業必須小心防範風險。
（信報新書推薦：車品覺新作《全民AI︰人機協作必備攻略》，VIP特惠$166，點擊購買）
更多車品覺文章：
支持EJ Tech
如欲投稿、報料，發布新聞稿或採訪通知，按這裏聯絡我們。
