? ? 大數(shù)據(jù)是當下非?；鸨囊粋€詞，人人都在談論大數(shù)據(jù)。但大數(shù)據(jù)的定義是什么？它到底是如何出現(xiàn)的？它有什么特別之處？它最大的應用領域在哪里？它的發(fā)展方向是什么？對于以上問題，其實大多數(shù)人是弄不清楚的。

? ? 1) 大數(shù)據(jù)時代出現(xiàn)的必然性

? ? 大數(shù)據(jù)和云計算這兩個詞經(jīng)常被同時提到，很多人誤以為大數(shù)據(jù)和云計算是同時誕生的、具有強綁定關系。其實這兩者之間既有關聯(lián)性，也有區(qū)別。云計算指的是一種以互聯(lián)網(wǎng)方式來提供服務的計算模式，而大數(shù)據(jù)指的是基于多源異構、跨域關聯(lián)的海量數(shù)據(jù)分析所產(chǎn)生的決策流程、商業(yè)模式、科學范式、生活方式和關聯(lián)形態(tài)上的顛覆性變化的總和。大數(shù)據(jù)處理會利用到云計算領域的很多技術，但大數(shù)據(jù)并非完全依賴于云計算；反過來，云計算之上也并非只有大數(shù)據(jù)這一種應用。

　　云計算的起源可以追溯到2003年末Amazon公司工程師Chris Pinkham提交給CEO Jeff Bezos的一篇論文中的一個設想：將Amazon內部使用的計算基礎設施開放給全世界的開發(fā)者。次年11月，Amazon發(fā)布了第一版云計算服務：Simple Queue Service。Simple Queue Service 再往后發(fā)展至2006年，演變成立今天著名的AWS（Amazon Web Sercice）。同在2006年，Google 公司CEO Eric Schmidt首次公開提出了“云計算”（Cloud Computing）的這一概念，云計算也在這一年開始變得廣為人知。

　　大數(shù)據(jù)這個詞的流行卻晚了好幾年——直到2009年，大數(shù)據(jù)這個說法才逐漸開始在互聯(lián)網(wǎng)圈內傳播。但僅僅在互聯(lián)網(wǎng)領域流行，仍然不足以引起普遍關注，因為純互聯(lián)網(wǎng)經(jīng)濟畢竟只占全球經(jīng)濟總量的很小一部分。而大數(shù)據(jù)概念真正變得火爆，卻是因為美國奧巴馬政府在2012年高調宣布了其“大數(shù)據(jù)研究和開發(fā)計劃”——美國政府希望利用大數(shù)據(jù)解決一些政府部門面臨的非常重要的問題，該計劃由橫跨6個政府部門的84個子課題組成。這標志著大數(shù)據(jù)真正開始進入主流的傳統(tǒng)線下經(jīng)濟。

　　大數(shù)據(jù)出現(xiàn)的時間點自有它深刻的原因。2009年至2012年這段時間正是電子商務在包括中國在內的全球全面開花的幾年。眾所周知，互聯(lián)網(wǎng)領域有3大類商業(yè)模式：廣告、游戲和電子商務。而電子商務又是第1個真正將純互聯(lián)網(wǎng)經(jīng)濟與傳統(tǒng)經(jīng)濟嫁接在一起誕生的混合模式。準確地說，正是互聯(lián)網(wǎng)與傳統(tǒng)經(jīng)濟的碰撞，才真正催生出了今天幾乎全民關注的“大數(shù)據(jù)”。大數(shù)據(jù)橫跨了互聯(lián)網(wǎng)產(chǎn)業(yè)與傳統(tǒng)產(chǎn)業(yè)，而且大數(shù)據(jù)真正廣闊的應用領域其實也正是比純互聯(lián)網(wǎng)經(jīng)濟大得多的傳統(tǒng)產(chǎn)業(yè)。

　　從數(shù)據(jù)量的角度來看，在電子商務模式出現(xiàn)以前，傳統(tǒng)企業(yè)的數(shù)量增長緩慢。傳統(tǒng)企業(yè)的數(shù)據(jù)倉庫中的數(shù)據(jù)大多數(shù)來自于交易型數(shù)據(jù)，而交易這種行為處于用戶消費決策漏斗的最底部，這就決定了交易前的各種瀏覽、搜索、比較等用戶行為數(shù)據(jù)的都量遠遠超過交易數(shù)據(jù)。電子商務模式使得企業(yè)可以采集到用戶的瀏覽、搜索、比較等行為，這就導致企業(yè)的數(shù)據(jù)規(guī)至少提升了一個數(shù)量級?，F(xiàn)在日益流行的移動互聯(lián)網(wǎng)以及將來會流行的物聯(lián)網(wǎng)又必將使數(shù)據(jù)量提高兩三個數(shù)量級。從這個角度來講，大數(shù)據(jù)時代是必然會出現(xiàn)的。

　　從IT產(chǎn)業(yè)的發(fā)展來看，第一代IT巨頭大多是2B的，比如IBM、Microsoft、Oracle、SAP這類傳統(tǒng)IT企業(yè)；第二代IT巨頭大多是2C的，比如Yahoo、Google、Amazon、Facebook這類互聯(lián)網(wǎng)企業(yè)。一個有意思的現(xiàn)象是：大數(shù)據(jù)時代前，這兩類公司彼此之間基本是井水不犯河水，我們很少看見這兩類公司的老板們在一起坐而論道；但在當前這個大數(shù)據(jù)時代，這兩類公司已經(jīng)開始直接競爭。比如Amazon已經(jīng)開始提供云模式的數(shù)據(jù)倉庫服務，直接搶占IBM、Oracle的市場。這個現(xiàn)象出現(xiàn)的本質原因是：在互聯(lián)網(wǎng)巨頭的帶動下，傳統(tǒng)IT巨頭的客戶普遍開始從事電子商務業(yè)務，正是由于客戶進入了互聯(lián)網(wǎng)，所以傳統(tǒng)IT巨頭們不情愿地被拖入了互聯(lián)網(wǎng)領域。如果他們不進入互聯(lián)網(wǎng)，他們業(yè)務必將萎縮。所以第三代IT巨頭可能會是2B與2C融合的IT公司。

　　2) 大數(shù)據(jù)的核心內涵

　　大數(shù)據(jù)概念雖然非?；鸨儆腥苏嬲斫獯髷?shù)據(jù)的核心內容。一個普遍而且嚴重的誤解就是：大數(shù)據(jù)=數(shù)據(jù)大，即大數(shù)據(jù)就是量大的數(shù)據(jù)。事實上，除了數(shù)據(jù)量大這個字面意義，大數(shù)據(jù)還有兩個更重要的特征：

　　1) 跨領域數(shù)據(jù)的交叉融合。相同領域數(shù)據(jù)量的增加是加法效應，不同領域數(shù)據(jù)的融合是乘法效應

　　2) 數(shù)據(jù)的流動。數(shù)據(jù)必須流動，流動產(chǎn)生價值

　　對于第1)點，百分點推薦系統(tǒng)研究中心實驗結果顯示：百分點公司有3家客戶，分別是從事服裝、化妝品和箱包銷售的電商，百分點向這3家客戶提供個性化商品推薦服務，即：百分點挖掘用戶的偏好，不同的用戶上同一家電商網(wǎng)站時，向他們展現(xiàn)不同的服裝、化妝品或箱包，從而提高電商的轉化率和客單價。我們做過兩種測試：

　　a) 將每家網(wǎng)站的數(shù)據(jù)隔離。當每家網(wǎng)站自身的數(shù)據(jù)量增加到以前的4倍時，推薦效果大約能提高5%；

　　b) 將三家網(wǎng)站的數(shù)據(jù)在去除敏感信息之后進行某種融合。融合后的數(shù)據(jù)大致是與單家網(wǎng)站的數(shù)據(jù)的3倍，比第一種情況數(shù)據(jù)量還少。但利用融合后的數(shù)據(jù)進行數(shù)據(jù)挖掘時，推薦效果能提升30%，而且推薦商品并未發(fā)生變化，仍然是：用戶上服飾類網(wǎng)站時只看見服裝、上化妝品網(wǎng)站時只看見化妝品、上箱包網(wǎng)站時只看見箱包。

　　解釋得詳細一點，上述實驗說明：對同一個消費者，如果我們要向其推薦服裝。第一種方法是我們根據(jù)他過去的4次購買服裝的行為來預測其下一次可能會購買的服飾；第二種方法是我們根據(jù)他過去分別購買服裝、化妝品和箱包的各1次行為來預測其下一次可能會購買的服飾。兩種方法的基于的用戶行數(shù)分別是4次和3次，但第二種方法的效果明顯更好。

　　對于第2)點，其實10多年前傳統(tǒng)企業(yè)開始做數(shù)據(jù)倉庫時，數(shù)據(jù)倉庫從業(yè)者經(jīng)常強調一個觀點：企業(yè)級數(shù)據(jù)倉庫的目標是讓不同部門的數(shù)據(jù)流動起來，各個部門數(shù)據(jù)割裂，數(shù)據(jù)的價值就得不到發(fā)揮。到了今天的互聯(lián)網(wǎng)時代，我們發(fā)現(xiàn)即使企業(yè)已經(jīng)打通了內部各個部門之間的數(shù)據(jù)，但與整個互聯(lián)網(wǎng)比起來，數(shù)據(jù)量仍然微乎其微，數(shù)據(jù)應該以互聯(lián)網(wǎng)為媒介在企業(yè)之間某種形式的流動。參照“企業(yè)級數(shù)據(jù)倉庫”的概念，現(xiàn)在已經(jīng)開始出現(xiàn)了“互聯(lián)網(wǎng)數(shù)據(jù)倉庫”的概念：就是企業(yè)通過互聯(lián)網(wǎng)渠道將與自己相關的外部數(shù)據(jù)與內部數(shù)據(jù)進行整合，從而形成“互聯(lián)網(wǎng)數(shù)據(jù)倉庫”。百分點已經(jīng)在零售與媒體領域比較成功地打造了“開放數(shù)據(jù)聯(lián)盟”，該聯(lián)盟的成員可以在公允、安全的情況下基于該聯(lián)盟建立起自己的“互聯(lián)網(wǎng)數(shù)據(jù)倉庫”，從而享用海量數(shù)據(jù)的價值。

　　3) 大數(shù)據(jù)的應用領域

　　大數(shù)據(jù)的起源要歸功于互聯(lián)網(wǎng)與電子商務，但大數(shù)據(jù)最大的應用前景卻在傳統(tǒng)產(chǎn)業(yè)。一是因為幾乎所有傳統(tǒng)產(chǎn)業(yè)都在互聯(lián)網(wǎng)化，二是因為傳統(tǒng)產(chǎn)業(yè)仍然占據(jù)了國家GDP的絕大部分份額。

　　哪些傳統(tǒng)企業(yè)最需要大數(shù)據(jù)服務呢？至少有3類企業(yè)：

　　1) 對大量消費者提供產(chǎn)品或服務的企業(yè)

2) 做小而美模式的中長尾企業(yè)

3) 面臨互聯(lián)網(wǎng)壓力之下必須轉型的傳統(tǒng)企業(yè)

　　第1)類企業(yè)都需要利用大數(shù)據(jù)精準分析不同消費者的偏好，提高營銷和服務的質量；第1)類企業(yè)都需要利用大數(shù)據(jù)分析精準定位自己的客戶群；第3)類企業(yè)主要指哪些正在遭受來自互聯(lián)網(wǎng)的新玩家沖擊的傳統(tǒng)企業(yè)，此類企業(yè)自然都需要利用互聯(lián)網(wǎng)和大數(shù)據(jù)作為自我進化的工具。當然，第3)類企業(yè)與前2類企業(yè)有重疊。

　　具體來講，中國最需要大數(shù)據(jù)服務的行業(yè)就是受互聯(lián)網(wǎng)沖擊最大的產(chǎn)業(yè)，首先是線下零售業(yè)，其次是金融業(yè)。

　　受電商的沖擊，國內很多零售巨頭都增長嚴重放緩，甚至遭遇負增長，線下零售已經(jīng)到了不得不變革的危機關頭。我們也看到了銀泰百貨、王府井百貨、萬達集團這些具有創(chuàng)新意識的傳統(tǒng)巨頭開始利用互聯(lián)網(wǎng)和大數(shù)據(jù)來改造線下商業(yè)。其中銀泰百貨以手機為載體、利用O2O方式進行雙線數(shù)據(jù)挖掘的創(chuàng)新非常值得借鑒。

　　而金融行業(yè)就更加特殊：金融業(yè)并不銷售任何實體商品，它自誕生起就是基于數(shù)據(jù)的產(chǎn)業(yè)。由于國家管制，金融業(yè)在前幾年享受了非常好的政策紅利，內部變革動力不足。而目前金融業(yè)已經(jīng)逐漸開始放松管制，新興的金融機構必將利用互聯(lián)網(wǎng)以及大數(shù)據(jù)工具向傳統(tǒng)金融巨頭發(fā)起猛烈攻擊。而傳統(tǒng)金融機構在互聯(lián)網(wǎng)方面的技術積累和數(shù)據(jù)積累都不足，要快速應對新進入者的挑戰(zhàn)，必然需要大數(shù)據(jù)服務。我們也看到了中信銀行信用卡中心、招商銀行信用卡中心已經(jīng)在開始利用互聯(lián)網(wǎng)大數(shù)據(jù)進行創(chuàng)新。

　　那么傳統(tǒng)產(chǎn)業(yè)需要什么樣的大數(shù)據(jù)服務呢？這主要包括3層：

　　1) 基于大數(shù)據(jù)的行業(yè)垂直應用。每個行業(yè)都有自己的特點，所以自然會存在行業(yè)應用的需求；

　　2) 顧客標簽與商品標簽的整理。不管什么行業(yè)，都需要精細化整理自己顧客的屬性標簽以及商品屬性標簽，而且這些標簽必須能夠細化到單個顧客和單個商品。標簽是行業(yè)應用的基礎；

　　3) 企業(yè)內部和外部數(shù)據(jù)的整合與管理。要給顧客和商品打標簽，首先必須整合企業(yè)內部和外部數(shù)據(jù)，尤其是日益重要和龐大的外部數(shù)據(jù)。

　　第3層和第2層的方法相對比較通用，行業(yè)特殊性相對較少。百分點已經(jīng)在第3層和第2層做出了比較成熟的產(chǎn)品，并且也開始在第1層做出了一些具體的行業(yè)應用產(chǎn)品，比如針對服飾行業(yè)的時尚服飾搭配系統(tǒng)。

　　4) 大數(shù)據(jù)的發(fā)展方向

　　大數(shù)據(jù)產(chǎn)業(yè)未來會向什么方向發(fā)展？隨著數(shù)據(jù)逐漸成為企業(yè)的一種資產(chǎn)，數(shù)據(jù)產(chǎn)業(yè)會向傳統(tǒng)企業(yè)的供應鏈模式發(fā)展，最終形成“數(shù)據(jù)供應鏈”。拿鋼鐵產(chǎn)業(yè)來講，鐵礦石公司從礦場中挖出礦石，經(jīng)過粗加工，賣給鋼鐵企業(yè)；鋼鐵企業(yè)再進行精細一點的加工，將板材、鋼條賣給下游制造業(yè)公司；這些制造業(yè)公司做出汽車、飛機、門窗、電腦等產(chǎn)品賣給下游公司。這個產(chǎn)業(yè)鏈中存在找礦、運輸、加工等諸多環(huán)節(jié)，每個環(huán)節(jié)都有對應的企業(yè)

　　在“數(shù)據(jù)供應鏈”中，存在數(shù)據(jù)、數(shù)據(jù)整合與挖掘工具以及數(shù)據(jù)應用這3大環(huán)節(jié)。數(shù)據(jù)就好比礦場的礦石；數(shù)據(jù)整合與挖掘工具就好比鋼廠的冶煉爐；而精準營銷、服飾搭配等數(shù)據(jù)應用就好比汽車、電腦等可以出售給消費者的產(chǎn)品。企業(yè)在數(shù)據(jù)供應、數(shù)據(jù)整合與挖掘、數(shù)據(jù)應用等所有環(huán)節(jié)都需要專業(yè)的服務。這里尤其有兩個明顯的現(xiàn)象：

　　1) 外部數(shù)據(jù)的重要性日益超過內部數(shù)據(jù)。在互聯(lián)互通的互聯(lián)網(wǎng)時代，單一企業(yè)的內部數(shù)據(jù)與整個互聯(lián)網(wǎng)數(shù)據(jù)比較起來只是滄海一粟；

　　2) 能提供包括數(shù)據(jù)供應、數(shù)據(jù)整合與加工、數(shù)據(jù)應用等多環(huán)節(jié)服務的公司會有明顯的綜合競爭優(yōu)勢。

　　5) 什么樣的大數(shù)據(jù)企業(yè)會勝出

　　常有大數(shù)據(jù)從業(yè)者以及投資人和我們探討一個問題：大數(shù)據(jù)產(chǎn)業(yè)中，什么樣的企業(yè)會最終勝出？這是一個很難回答的問題，而且即使回答了，三五年內可能都無法判斷其正確性。但從“數(shù)據(jù)供應鏈”中的各個環(huán)節(jié)來分析，還是可以得出一些具有參考價值的結論。

　　1) 數(shù)據(jù)供應。在互聯(lián)網(wǎng)沒有流行的時代，企業(yè)做數(shù)據(jù)倉庫、商業(yè)智能、數(shù)據(jù)挖掘等系統(tǒng)時采用的數(shù)據(jù)基本都來自于企業(yè)內部，企業(yè)幾乎無法獲取外部數(shù)據(jù)，所以很少有專業(yè)的數(shù)據(jù)供應商。互聯(lián)網(wǎng)改變了這一局面，將來會有專業(yè)的數(shù)據(jù)供應商。但既然是因為互聯(lián)網(wǎng)的出現(xiàn)導致了數(shù)據(jù)供應商的出現(xiàn)，那么反過來數(shù)據(jù)供應商就必須具有很強的互聯(lián)網(wǎng)基因；

　　2) 數(shù)據(jù)整合與挖掘。數(shù)據(jù)挖掘工具供應商在非互聯(lián)網(wǎng)時代就早已存在。但互聯(lián)網(wǎng)時代使得企業(yè)的數(shù)據(jù)量激增、數(shù)據(jù)類型發(fā)生極大變化（不同于傳統(tǒng)的來自于單一領域的結構化數(shù)據(jù)，互聯(lián)網(wǎng)數(shù)據(jù)以跨域的非結構化數(shù)據(jù)為主），傳統(tǒng)的數(shù)據(jù)挖掘工具供應商的技術和方法已經(jīng)很難適應。要跟上時代的變化，數(shù)據(jù)挖掘技術與工具應用商必須具備互聯(lián)網(wǎng)公司的海量數(shù)據(jù)處理和挖掘的能力；

　　3) 數(shù)據(jù)應用。具體的行業(yè)應用與傳統(tǒng)行業(yè)的業(yè)務關系密切，要做好行業(yè)應用，最好需要有服務傳統(tǒng)行業(yè)的經(jīng)驗，了解傳統(tǒng)行業(yè)的內部運作模式。這時候僅僅具有2C經(jīng)驗的互聯(lián)網(wǎng)基因的公司又稍顯不足。

　　綜合起來看，如果一家大數(shù)據(jù)從業(yè)公司同時兼?zhèn)浠ヂ?lián)網(wǎng)數(shù)據(jù)獲取能力、互聯(lián)網(wǎng)技術、互聯(lián)網(wǎng)執(zhí)行力，又有做2B服務的經(jīng)驗，那么這家公司將比較容易取得領先優(yōu)勢。這個結論其實一點也不奇怪：如本文開篇所述，大數(shù)據(jù)本來就是互聯(lián)網(wǎng)與傳統(tǒng)產(chǎn)業(yè)碰撞時的產(chǎn)物。

　　用“方興未艾”這個詞來形容大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展階段都還為時過早，目前的大數(shù)據(jù)產(chǎn)業(yè)只能說是小荷才露尖尖角。國內企業(yè)在第1代IT產(chǎn)業(yè)（硬件和軟件產(chǎn)業(yè)）中是明顯落后國外企業(yè)的；在第2代IT產(chǎn)業(yè)（互聯(lián)網(wǎng)產(chǎn)業(yè)）中，國內企業(yè)已經(jīng)與國外企業(yè)差距不大甚至在很多方面超過了國外企業(yè)；希望在第3代IT產(chǎn)業(yè)（云計算和大數(shù)據(jù)）浪潮中，國內企業(yè)能夠完全趕上并且超過國外企業(yè)，我們也認為這是很有可能的。