理大AI研究院｜促模型互訪齊變強 專注「聯邦學習」 數據留本地保私隱
原文刊於信報財經新聞「CEO AI⎹ EJ Tech」
香港理工大學在上月公布的上海軟科「世界一流學科排名」新增的「人工智能（AI）學科」指標中，位列全港第一、全球第十六。為響應國家「十五五」規劃「人工智能+」行動，理大校長滕錦光昨主持「理大人工智能高等研究院」（PAAI）成立儀式。PAAI將結合校內計算機科學、數學、數據科學等跨學科優勢，旨在針對當前AI發展面臨的多重樽頸，助力本港構建成具全球影響力的AI創新樞紐。
公開資料庫估計2028耗盡（邱敏聰攝）
PAAI院長楊強在主題演講「AI革命：挑戰與機遇」中提到，團隊於過去幾年專注「聯邦學習」（Federated Learning）的研究，這屬於一種安全、去中心化的AI開發方式。他引述資料估計，AI開發最遲在2028年就會用盡所有公開資料；同時，大家對私隱與安全的擔憂日增，跨機構資料交換成為最大障礙。而聯邦學習正是讓模型「走訪」各個資料庫，但數據不出本地，只交換「知識」（加密後的參數）。
楊強介紹，團隊成功把聯邦學習與大語言模型結合，雲端的大模型教導本地小模型，本地模型又能利用私有資料訓練。醫院就可在不洩漏病患資料下，讓自己的模型變得更強。實際應用案例方面，內地湖北省10多間醫院採用聯邦學習整合健檢資料，早期預測中風徵兆。最近亦與日本京都大學醫學院設聯合實驗室研究衰老機制。
癌症模型可去中心化再「合成」
另一代表、PAAI執行院長楊紅霞，主題演講題目為「協作式生成AI」（Co-GenAI）。她提到，美國矽谷現時有一間前沿實驗室Thinking Machines Lab，同樣聚焦協作式生成AI研發，這20人初創成立僅兩個月，其估值已達150億美元（約1170億港元）。楊紅霞提到，去年7月加入理大前，在產業界待近15年，坦言「從2019年底就開始做生成式AI了」，那時她跟清華大學唐杰教授合作，曾幫助阿里巴巴（09988）及字節跳動，分別建立其基礎模型團隊。
楊紅霞強調，真正高端及重要的資料，根本不可能從公開網絡得到。目前坊間的所有大模型，都是中心化生成式AI，把所有資料、算力集中在一個地方。以合作開發癌症大模型為例，把全國醫院病歷數據全部集中，這在法規、私隱、現實操作上完全不可能，所以她建議做「去中心化生成式AI」，讓每間醫院用自己的數據，訓練一個領域的小模型，但透過「模型融合」（Model Fusion），合成一個全國甚至全球通用的癌症大模型。
訓練框架推理能力勝Qwen
此外，楊紅霞又介紹團隊公開成果，例如開源的低比特訓練框架，已全面超越Meta Llama系列，推理能力甚至超越Qwen，模型僅對方一半大小；至於完全用語音操作手機，GPT-4o成功率不到1%，其3B跟7B模型則做到近60%，堪稱全球最佳。模型融合方面，只用了幾百個圖像處理器（GPU）小時，就把Mistral、Qwen、Llama、Phi等4個頂尖開源模型融合，18個超難評測集的成功率，從75%至77%直接跳到88%，有人戲稱這做「吸星大法」。
預期PAAI發展路線方面，將圍繞三大核心方向。首先技術深化方面，持續推進協作式生成AI、聯邦學習與邊緣基礎模型等關鍵技術的研發，並在醫療、教育、金融與機械人四大領域，形成穩定的技術布局；同時啟動AI輔助診斷、個性化治療、智慧教育工具等旗艦研究專案。第二點是生態拓展方面，強化與產業、醫療機構、學校及政府部門合作，拓展去中心化AI基礎設施；第三點則是培養支援未來創新人才體系。
支持EJ Tech
如欲投稿、報料，發布新聞稿或採訪通知，按這裏聯絡我們。
