大數據變革在數據本身（車品覺）
大數據公司最大的痛苦是什麼？不是沒有數據，而是有太多數據。各種各樣包括結構性和非結構性的數據從四面八方而來，但哪些有用？如何挑選？才是最難。
有一次，我在美國碰巧遇到谷歌的前數據部門主管，他跟我說了一件他覺得很痛苦的事：提出數據需求的人，往往70%的情況並沒有使用所獲提供的數據。他為此非常生氣，便質問業務方：「為什麼你們老問我要數據，結果卻不用？」業務方回答：「是的，因為我用了之後才知道這些數據沒有用。」對於一個每天都要準備數據的人來說，這好比你是一家餐廳的老闆，廚師每天為你準備很多菜卻只用一小部分材料。所以，我從事大數據行業一直有個夢想：如果有一天可以把數據的處理自動化，該多好！
創新方法自動清洗準備
說起數據處理的自動化，不得不提一家在數據領域有突破創新的公司Paxata，它是美國少有接地氣的自助型數據開發 （data preparation）平台。這家公司的專注領域令人興奮，因為目前市場上幾乎所有的數據分析，包括BI軟件和創新都聚焦在解決數據分析的算法、視覺化、模型等等的自動化，卻忽略了一個事實：現實工作中，數據科學家和分析師首先需要花費80%、甚至更多的時間在數據清洗和準備。Paxata採用機器學習的創新方法解決data preparation。其功能如下：
一、讀取數據：讀取任何形式的數據，自動解析和識別數據的類型及數據的意義；
二、數據探索：通過人機交互的形式，幫助用戶主動發現數據質量問題。比如提供全文搜尋、數據品質熱力圖、發現規律，來發現數據中的錯誤、重複、稀疏、缺失等問題；
三、數據清洗和修改：Paxata平台的核心是語義融合和機器學習引擎。該引擎基於算法智能識別並進行數據變換以改善數據；
除了上述功能，Paxata還能夠通過人機交互的形式完成數據合併、發布、改進、分享、安全控制等數據準備的所有環節。其中一個有趣的功能是數據富集（data enrichment），能基於第三方數據庫建議用戶增加更多的變量以提升挖掘價值，並自動完成數據的轉化。他山之石可以攻玉，同類公司所關注的變量及挖掘路徑可以互相借鑑。
Paxata採用機器學習的創新方法解決data preparation（官網截圖）
今天大數據之所以說起來容易、做起來難，主要是因為兩個問題，其一是數據的易用性，其二是數據處理的成本。因此，底層數據處理的自動化將愈加重要。我們需要將使用數據的經驗數據化，並把這些經驗轉化為其他公司對自己數據的理解和使用能力。
或許在不久的將來，我們就會發現只要我們對某一領域使用數據的經驗有足夠的沉澱，哪怕給我一堆毫無關係的數據，我也能根據數據經驗庫，告訴你我從中看到了什麼。世界日新月異，變化之快令人咋舌，我們數據人也只有不斷顛覆自己使用數據的能力，才能找出大數據未來的方向。
更多車品覺文章：
支持EJ Tech
如欲投稿、報料，發布新聞稿或採訪通知，按這裏聯絡我們。
Related Posts
