訓練模型 真人數據無可替代（車品覺）
本文作者車品覺，為港交所獨立非執行董事、香港基因組中心董事、香港大學中國商業學院客座副教授，為《信報》撰寫專欄「全民大數據」。
最近與幾位從事大型語言模型（LLM）開發的朋友談起訓練數據，大家都不約而同提到一個詞：「數據牆」。在互聯網公開的優質文本，大概已經搜刮得七七八八，剩下的要不是垃圾，就是需要付費的，於是整個行業很自然地轉向合成數據──讓模型自己生成材料，再「餵」回自己。
這件事在過去兩年確實有效。寫程式、數學、邏輯推理等領域，這幾類答案對錯分明、可以自動驗證，合成數據幾乎可成為免費、無限的模型訓練材料。但問題也正正在這裏：合成數據也有明顯限制，它的能力很大程度取決於人類能否驗證結果，若驗證不了的，合成出來的數據只是看起來合理，但未必是真確。
研究界有個名詞叫模型崩潰（Model Collapse），是指用自己生成的數據反覆訓練，幾代之後，輸出的內容會愈來愈相似，多樣性會下降，最後只剩下幾種腔調。這不是危言聳聽，是分布數學的必然。這就解釋了為什麼模型公司，一邊大量使用合成數據，另一邊又不斷高價收購真實數據、簽訂獨家授權。他們心裏很清楚，合成數據解決的是「不夠用」，真實數據解決的是「不真實」。
有兩個數字值得記住。第一，中國信通院監測到今年6月國內日均詞元（Token）消耗約500萬億，接近去年12月的4倍。第二，網絡基礎架構服務商Cloudflare的數據顯示，自動化流量佔比已達57%，首次超越人類。兩條線放在一起看：需求在爆炸，而人類產生的內容佔比在下降。換句話說，真實的人類行為數據，正在從「比較好」變成「不可替代」。
因此我認為，未來3到5年，數據資產會經歷一次重估。過去我們衡量數據，看的是規模、覆蓋、更新頻率；以後看的是4件事：稀缺性、來源可追溯、授權清晰、場景綁定。這4件事，恰好都是合成數據最難提供的。它們也正是「資產」與「原料」的分別──原料按噸賣；資產則可以定價、審計及交易。美國已有破產法庭在為企業的數據資產定價，內地也開始試行數據產權登記，數據資產化的制度和基礎設施，正在一塊一塊砌起來。
對企業的建議很簡單：不要等模型便宜了才去想數據。模型只會愈來愈便宜，甚至免費。相反，那些來自真實業務、他人無法取得、也無法憑空生成的數據，價值會愈來愈高。現在開始把數據授權理順、把場景記錄下來、把審計做起來，幾年後這就是你的護城河。
合成數據不是敵人，它是一面鏡子。它逼我們回答一個問題：到底什麼是機器無法自己製造的？答案，就是未來數據資產的真正價值所在。
（ 信報新書推薦：車品覺新作《全民AI︰人機協作必備攻略》，VIP特惠$166書）
更多車品覺文章：
支持EJ Tech
如欲投稿、報料，發布新聞稿或採訪通知，按這裏聯絡我們。
