AI發展恐逼近失控臨界點（方保僑）
在人工智能（AI）競賽漸趨白熱化之際，AI安全問題再次成為焦點。近期，Anthropic罕有地公開呼籲「全球暫停前沿AI開發」，引發科技界、政策圈乃至資本市場的關注。這表態不僅涉及技術風險，更顯示當前生成式AI發展模式的深層矛盾。
Anthropic指出，人工智能正逼近「遞歸式自我改進」（Recursive Self-improvement）的臨界點。所謂遞歸式自我改進，是指AI系統不再單純依賴人類工程師優化，而是具備自主設計、改寫，甚至強化自身能力的潛力。一旦成形，AI技術進步或呈指數級，甚至失控式增長，超出人類監管與理解範圍。
這種風險並非純理論推演。Anthropic透露，其內部AI系統產生的程式碼量，已達數年前的8倍，且能提出研究方向與技術方案，正由工具角色轉向「研究協作者」。因此AI安全（AI Safety）、AI治理（AI Governance）與AI監管（AI Regulation）不再是長遠議題，而是迫切的政策挑戰。
然而，更具爭議的是，Anthropic發出暫停開發呼籲的同時，正籌備首次公開招股（IPO），市場估值高達近萬億美元。這種一方面積極進軍資本市場，另一方面卻倡議放緩技術發展的行為，正呈現出典型的「安全與商業之間的張力」。
這種矛盾並非Anthropic獨有，而是整個AI產業的縮影。一方面，科技企業在生成式AI、大型語言模型（LLM）及自動化技術上激烈競爭，尤其中美科技博弈下，「AI軍備競賽」愈趨明顯。另一方面，企業亦意識到，若缺乏有效監管與國際協調，AI技術可能帶來系統性風險，如網絡攻擊自動化、深偽（Deepfake）擴散，甚至對關鍵基礎設施構成威脅。
Anthropic發言人坦言，要實現全球層面的AI發展暫停，幾乎是一項不可能任務，因為AI模型訓練不同於核武或傳統軍備，其運算活動難以監察與驗證，各國亦缺乏互信基礎。在缺乏有效國際機制下，即使部分企業或國家願意放慢步伐，亦難以防止其他競爭者加速追趕，最終導致「囚徒困境」。
此外，Anthropic過去曾承諾，若AI能力超越安全控制範圍，將暫停開發，但該承諾已於年初悄然撤回，引起AI倫理及安全研究專家界的質疑。外界關注企業在倡議安全同時，是否存在策略性考量，如透過提高監管門檻，壓制資源較少的競爭對手。
從政策角度來看，Anthropic的呼籲反映現行監管框架的不足。無論是歐盟《人工智能法案》（The AI Act），或美國的行業自律模式，均未能觸及「前沿模型能力失控」此核心風險。未來國際社會或需參考核不擴散機制，建立跨國AI監察與驗證體系，但在地緣政治現實下，推動難度極高。
Anthropic呼籲暫停前沿AI開發，既是對AI失控風險的預警，亦是對產業發展模式的反思。在資本、市場與技術競賽的多重壓力下，單靠企業自律難以應對挑戰，如何在促進創新與保障安全之間取得平衡，將成為未來AI治理的關鍵課題。
更多方保僑文章：
支持EJ Tech
如欲投稿、報料，發布新聞稿或採訪通知，按這裏聯絡我們。
