Gemini爆漏洞｜遭植入惡意指令 用戶輸入Thanks即觸發 遙控家電竊取定位
原文刊於信報財經新聞「CEO AI⎹ EJ Tech」
透過人工智能（AI）助理Google Gemini，幫手總結日程安排之前請三思，可能隨時被人騎劫智能設備。在美國拉斯維加斯召開的Black Hat USA網絡安全會議，有以色列安全研究人員發表論文，列舉14種藉「間接提示注入」（Indirect Prompt Injection）操縱Gemini的攻擊手法，標榜可遙控多項智能家居設備，在現實世界製造混亂。
研究員列14種手法 Google急修復
所有攻擊始於一個Google行事曆邀請，其暗中被惡意指令感染，當中包含延遲開啟智能家居產品的指令。當研究人員隨後要求Gemini，總結未來一周的行事曆事項後，再念一句「咒語」Thanks（謝謝），隨即觸發背後的隱藏指令，自動激活不同智能家居設備，例如打開焗爐、恒溫器、智能百葉窗、開關燈等操作。此外，更可控制Gemini發送垃圾連結、產生粗俗對話、打開Zoom應用程式錄影樣貌，或透過打開網頁瀏覽器，竊取電郵及取得地理定位等。
研究團隊今年2月向Google報告以上發現，後者對此「極其重視」，並推出多項修復措施，例如AI採取行動時，須嚴格確認用戶身份。
科技媒體Ars Technica指出，AI模型Gemini擁有最基本的代理功能，能夠跟Google應用生態系統接駁，可以存取行事曆、呼叫Assistant智能家居設備、發送訊息等等，可藉此製造混亂或竊取敏感資料，是不法之徒的目標。至於間接提示注入，更是最嚴重的AI安全問題之一。惡意提示由外部來源插入，這可能是網站文字之中，所包含的一組惡意指令，由AI自動總結而成；也可能是潛伏在文件中，人類肉眼無法辨識，但電腦能夠讀取的白色字體文字。
隨着大型語言模型（LLM）技術，開始整合在應用程式之中，甚至部署在自駕車、人形機械人，加強系統保安刻不容緩。研究團隊認為，以上例子是「間接提示注入」攻擊，從數碼世界走向現實的首個案例，做法不需要任何技術知識，幾乎任何人都可以輕鬆開發。
微軟啟動「零日探索」堵截缺陷
網絡安全亦威脅企業日常營運，Google DeepMind及Google Project Zero在上月，發表能夠自主運行的AI代理Big Sleep，讓安全研究人員發現「零日漏洞」（Zero-Day Vulnerability）。基於AI防禦系統，Gmail可自動封鎖超過99.9%垃圾郵件、網釣及惡意軟件，並保護超過15億個收件匣。微軟（Microsoft）計劃在2026年春季，啟動全球漏洞賞金競賽「零日探索」，旨在發現微軟雲端及AI產品的漏洞，總獎金高達500萬美元（約3900萬港元）。
另外，微軟周二啟動自主AI代理Project Ire，這是一個自主惡意軟件分類系統，背後由LLM技術提供支援。系統由微軟研究院、Microsoft Defender及Microsoft Discovery & Quantum團隊開發，可在無人協助下分析及分類軟件，更對軟件檔案完全逆向工程，以確定屬於惡意或良性軟件。初步測試發現，Project Ire正確識別90%惡意文件，僅將2%良性文件標記為威脅。
人工智能 必讀好書
書名：The Double Black Box: National Security, Artificial Intelligence, and the Struggle for Democratic Accountability
作者：Ashley S. Deeks
簡介：人工智能演算法被形容為「黑盒子」，本書指出如何在不放棄公法價值觀下，享受先進技術的優勢。
支持EJ Tech
如欲投稿、報料，發布新聞稿或採訪通知，按這裏聯絡我們。
