AI大腦模型|獼猴腦反應證明小模型價值
原文刊於信報財經新聞「CEO AI⎹ EJ Tech」
來自美國冷泉港實驗室(CSHL)、普林斯頓大學與卡尼基美隆大學的聯合團隊研究提出,在透過人工智能模擬靈長類大腦的視覺皮質反應時,就算用低參數量的小模型取代大模型,效能亦不會變差,甚至更能理解腦部運作。
研究人員首先找來三隻獼猴,合計通過50場測試,每場讓牠們看數千張不同圖片,期間收集其腦部神經反應,訓練出一個具備約6000萬個參數的混合式大模型。
AI規模縮細5000倍 表現相若
在此之後,他們透過知識蒸餾、剪枝技術,將大模型壓縮成為只剩約1萬個參數的多個小模型。儘管這些小模型規模減少約5000倍,但預測表現分數僅下降了5個百分點左右。
論文作者之一、冷泉港實驗室助理教授考利(Ben Cowley)在電台節目表示,「那模型實在是非常小巧,小到完全可以透過社交平台X或電郵來發送的程度。」
後續驗證更表明,小模型確實抓住神經細胞偏好的視覺特徵。無論是由小模型挑選出來的自然圖片,抑或小模型自行合成的圖片,它們都比隨機圖片,更能誘發強烈的神經反應。
變小的模型亦讓研究人員更易看清,生物腦部神經怎樣處理影像。他們發現小模型在前面幾層保留了較多濾波器,但其後數量急遽下降,顯示不同神經細胞起初可能共用基礎材料,然後才收斂整理成不同特徵。
以其中一個偏好圓點的小模型為例,其內部結構原來並非一個獨立的圓點偵測器,而是不同部件分工合作,一些負責查找圖形角落或彎曲的訊號,一些則負責排除大而長的非圓點邊緣。
論文指出,「在預測視覺通路神經反應時,絕大多數濾波器要麼虛假、要麼冗餘……接着我們要進一步調查,能否從這種簡約性,用人類可理解的方式,解釋腦部視覺處理。」
支持EJ Tech
如欲投稿、報料,發布新聞稿或採訪通知,按這裏聯絡我們。




















