上世紀80年代末到90年代初，國內(nèi)外廣泛流傳著一句耐人尋味的話語：我們沉浸在數(shù)據(jù)的海洋中，卻渴望著知識的淡水。這句話生動地描繪了當時人們面對海量數(shù)據(jù)的迷惘和無奈。就在這時，世界商業(yè)巨頭沃爾瑪從其龐大的交易數(shù)據(jù)庫中演繹了一場“啤酒和尿布的故事”，揭示了一條隱藏在海量數(shù)據(jù)中的、美國人的一種行為規(guī)律：年齡在25至35歲的年輕父親下班后經(jīng)常要到超市去給嬰兒買尿布，而他們中有30%-40%的人順手為自己買幾瓶啤酒。受這條簡單的客戶行為模式的啟發(fā)，沃爾瑪調(diào)整了商品布局，并策劃了促銷價格，結(jié)果銷售量大增。這一現(xiàn)象引起了科學界的注意，他們將“啤酒和尿布的故事”引申為“關(guān)聯(lián)規(guī)則獲取”，進而將“從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又潛在有用的信息和知識的過程”定義為“數(shù)據(jù)挖掘”。

　　需求是成功之源，于是西方發(fā)達國家刮起了一場數(shù)據(jù)挖掘的風暴。商業(yè)界發(fā)現(xiàn)了沃爾瑪迅猛發(fā)展的秘訣，紛紛效仿。電信行業(yè)也沸騰了，各公司紛紛爭先恐后地利用數(shù)據(jù)挖掘這一銳利武器解決他們面臨的最緊迫的問題。工業(yè)界也行動了，他們從堆積如山的數(shù)據(jù)中，挖掘出指導生產(chǎn)和管理的決策規(guī)則。

　　如今，全球已經(jīng)進入了“大數(shù)據(jù)”時代。美國互聯(lián)網(wǎng)數(shù)據(jù)中心指出，互聯(lián)網(wǎng)上的數(shù)據(jù)每年將增長50%，每兩年便將翻一番。大數(shù)據(jù)通過處理和分析而被發(fā)掘出來的價值就像所羅門寶藏一般吸引著各行各業(yè)。那么，這一預示著未來的新銳技術(shù)將如何改變世界?國際互聯(lián)網(wǎng)巨鱷們又將如何布局全球大數(shù)據(jù)市場?大數(shù)據(jù)還有哪些潛能尚未開發(fā)?

　　科技巨鱷豪賭大數(shù)據(jù)

　　“中國市場的潛力無疑是巨大的，在大數(shù)據(jù)領(lǐng)域中國的增速會超過世界其他地方”

　　——Boyd Davis

　　隨著大數(shù)據(jù)的商業(yè)價值愈發(fā)顯現(xiàn)，越來越多公司加入到大數(shù)據(jù)戰(zhàn)略布局中，而具備數(shù)據(jù)開發(fā)優(yōu)勢的國際互聯(lián)網(wǎng)巨鱷自然不會只滿足于已有的數(shù)據(jù)倉庫，更大規(guī)模的業(yè)務拓展正在進行中。

　　燒錢大比拼

　　作為大型的科技企業(yè)，燒錢是必不可免的事情。谷歌、亞馬遜和微軟為確保其全球網(wǎng)絡正常運行，都需要付出不菲代價。據(jù)統(tǒng)計，今年第一季度，這三家科技公司的資本開支總計高達46億美元，同比增長約65%。尤其是谷歌，為了構(gòu)建它的“大數(shù)據(jù)帝國”，燒錢力度更是瘋狂。統(tǒng)計顯示，僅2013年，谷歌在大數(shù)據(jù)方面的支出就比2012年上漲了一倍多，支出金額達23億美元。

　　今年5月8日報道稱，谷歌風投宣布向大數(shù)據(jù)公司——癌癥病人數(shù)據(jù)提供商Flatiron Health投資1.3億美元。這將是谷歌風投有史以來在醫(yī)藥軟件行業(yè)最大一筆投資。

　　谷歌風投將醫(yī)療大數(shù)據(jù)領(lǐng)域的公司作為自己的投資組合當中的重要組成部分。他們此前已經(jīng)投資了DNAnexus公司以及Foundation Medicine公司，前者致力于打造全世界首個能夠搜索的基因組數(shù)據(jù)庫，后者則是使用大數(shù)據(jù)分析工具來幫助治療腫瘤。

　　而就在今年4月，另一家國際IT巨頭英特爾，也宣布了它對大數(shù)據(jù)軟件新秀Cloudera的一筆高達7.4億美元的投資，這是英特爾有史以來在數(shù)據(jù)中心領(lǐng)域的最大單筆投資。路透社稱，以英特爾投資7.4億美元入股18%計算，這筆投資將準備上市的Cloudera的估值抬高到了41億美元。

　　布局中國市場

　　IT巨頭們爭先恐后燒錢的背后是企業(yè)對大數(shù)據(jù)市場不斷膨脹的需求。根據(jù)一家名為“市場研究透明度”的美國商業(yè)信息服務公司發(fā)布的報告顯示，2012年全球大數(shù)據(jù)市場已達到63億美元。這是一個年輕的市場，有著很強的增長勢頭，每年平均增長40%，預計市場規(guī)模將在2018年達到500億美元。

　　業(yè)內(nèi)專家指出，如果說大數(shù)據(jù)在2012年和2013年在通信、金融、醫(yī)療、媒體、文化等領(lǐng)域的表現(xiàn)還不夠出色，還未成為企業(yè)投資的重要方向的話，那么大數(shù)據(jù)應用將于2014年在企業(yè)投資中占據(jù)主流地位。對于全球第二大經(jīng)濟體的中國而言，大數(shù)據(jù)浪潮也是強勢襲來。雖然大數(shù)據(jù)在中國目前僅處于初級階段，但這同樣意味著中國的大數(shù)據(jù)市場潛力巨大。

　　專注中國IT產(chǎn)業(yè)及市場發(fā)展研究的賽迪顧問，于2013年發(fā)布了《中國大數(shù)據(jù)重點行業(yè)應用市場研究白皮書》，指出中國大數(shù)據(jù)IT應用市場規(guī)模將有望于2015年達到144.96億元人民幣，其中智慧城市、電信和金融三個細分大數(shù)據(jù)應用市場從2013年到2015年的年復合增長率，將分別達到114.4%、97.3%和104.1%。而構(gòu)建更為高效、易用的大數(shù)據(jù)解決方案，讓各種規(guī)模的企業(yè)都能更加輕松地從海量數(shù)據(jù)中發(fā)掘更多商業(yè)價值，已成為很多IT廠商的目標。

　　作為大數(shù)據(jù)領(lǐng)域的佼佼者，國際IT巨鱷們不可能放任這塊誘人的大蛋糕不理會。就在英特爾和Cloudera宣布達成合作后僅一個月，這兩家公司的高管便一同出現(xiàn)在中國。雙方宣布將進一步推動中國大數(shù)據(jù)技術(shù)和產(chǎn)業(yè)發(fā)展，更好地服務于中國市場和用戶。其中，Cloudera更是計劃于今年9月份在華建立業(yè)務機構(gòu)，業(yè)務將涵蓋直銷、專業(yè)服務、客戶支持、培訓以及研發(fā)工作等。

　　“中國市場的潛力無疑是巨大的，因為和中國聯(lián)系在一起的很多經(jīng)濟現(xiàn)象都是巨大的，在中國有全球最大的移動通信運營商，有全球最大規(guī)模的銀行，它們帶來的機會是毫無疑問的。同時，我們也可以發(fā)現(xiàn)中國現(xiàn)在有著很多創(chuàng)新的大數(shù)據(jù)應用，這種巨大的潛力讓我們相信，在大數(shù)據(jù)領(lǐng)域中國的增速會超過世界其他地方?！庇⑻貭柟緮?shù)據(jù)中心事業(yè)部副總裁兼數(shù)據(jù)中心軟件部總經(jīng)理Boyd Davis在接受記者專訪時表示，“英特爾此前在中國大數(shù)據(jù)產(chǎn)業(yè)和市場的實踐及獲取的成功，還有中國鼓勵發(fā)展大數(shù)據(jù)技術(shù)和應用的產(chǎn)業(yè)環(huán)境，是促使我們下定決心，與Cloudera攜手進一步拓展中國市場的關(guān)鍵因素?！?/P>

　　著名市場調(diào)查機構(gòu)IDC的一項預測也很好地解釋了國際IT巨頭重視中國市場的原因。據(jù)該機構(gòu)預測，2020年全球新建和復制的信息量將達40ZB(ZB為澤字節(jié)簡稱，1ZB等于10萬億億字節(jié))，這將是2012年的12倍，其中來自中國的數(shù)據(jù)量就將達8ZB，相比中國2012年時的數(shù)據(jù)量，增長可達22倍，這將使中國從2012年到2020年數(shù)據(jù)量全球占比從13%增長到21%，也意味著中國大數(shù)據(jù)和數(shù)據(jù)分析將面臨巨大的機遇。

　　大數(shù)據(jù)開發(fā)需立“軍規(guī)”

　　“在實踐中，數(shù)據(jù)分析、處理的價值就在于能夠產(chǎn)生一些實際的、良好的效果，而不是過分地進行數(shù)據(jù)采集和挖掘?！?/P>

　　——Kord Davis

　　對爭先恐后涉足大數(shù)據(jù)營銷的企業(yè)來說，數(shù)據(jù)淘金之路并非全無風險。美國連鎖百貨集團塔吉特(Target Corp.)今年4月29日任命Bob DeRodes為新的首席信息官，取代此前因數(shù)據(jù)泄露而辭職的首席信息官Beth Jacob。

　　數(shù)據(jù)挖掘雙刃劍

　　2013年底，塔吉特承認總計1.1億用戶信息被泄露，包括4000萬用戶的信用卡和借記卡，以及另外7000萬名用戶數(shù)據(jù)。據(jù)悉該次數(shù)據(jù)泄露事件幾乎覆蓋了塔吉特全美的1797間門店，此事也是繼2007年美國百貨零售商 TJX Companies9000萬信用卡及借記卡數(shù)據(jù)泄漏事件后的最大的數(shù)據(jù)泄露事件。

　　正是由于數(shù)據(jù)泄露事件，截至2014年2月1日，塔吉特產(chǎn)生了6100萬美元的額外支出，其中保險賠償?shù)咒N了4400萬美元，即實際支出為1700萬美元。在2013—2014財年的第四季財季，塔吉特百貨凈利潤是5.2億美元，較2012財年同期的9.61億美元大幅減少46%，攤薄后每股收益從2012財年同期的1.47美元下降至0.81美元，凈銷售則同比下滑5.3%至21.52億美元，美國業(yè)務的同店銷售因數(shù)據(jù)泄露而比2012財年同期下降2.5%。

　　塔吉特的案例讓人感受到了大數(shù)據(jù)這柄雙刃劍的另一面?！洞髷?shù)據(jù)倫理學：平衡風險和創(chuàng)新》一書的作者Kord Davis便指出：“在實踐中，數(shù)據(jù)分析、處理的價值就在于能夠產(chǎn)生一些實際的、良好的效果，而不是過分地進行數(shù)據(jù)采集和挖掘。”

　　由于過分地數(shù)據(jù)挖掘，企業(yè)的行為引起了客戶的不滿，遭到客戶的批評指責和法律訴訟。數(shù)據(jù)隱私管理解決方案供應商Truste于2013年9月發(fā)布的一項調(diào)查結(jié)果顯示，1/3的互聯(lián)網(wǎng)用戶出于隱私考慮，已經(jīng)停止使用某公司的網(wǎng)站，或者完全終止了與某公司的交易往來。

　　還需法律規(guī)范

　　于是，一些企業(yè)開始了大數(shù)據(jù)“自律”。以美國高檔連鎖百貨商店諾德斯特姆公司(Nordstrom)為例，這家美國高檔連鎖百貨商店曾利用Euclid科技公司提供的傳感器，在顧客用智能手機連接商店WiFi服務時，來獲取顧客的購物信息。但是，這一行為引起了隱私保護者們的批評，如今諾德斯特姆公司已不再采用這種分析方式了。

　　然而，在隱私和信息安全問題上，僅靠企業(yè)自律，顯然是一廂情愿。今年1月，美國總統(tǒng)奧巴馬指示總統(tǒng)顧問對大數(shù)據(jù)與隱私問題展開詳盡調(diào)研，希望在法律監(jiān)管與輿論博弈之下，使數(shù)據(jù)公司的野蠻生長得到有效約束。美國總統(tǒng)科學技術(shù)咨詢委員會也進行了一項研究，在技術(shù)層面探尋大數(shù)據(jù)與隱私泄露之間的關(guān)聯(lián)程度。

　　Michael Walker是位于美國丹佛的系統(tǒng)集成商和信息技術(shù)服務商Rose Business Technologies的管理合伙人。目前，他已經(jīng)起草了一份12頁的有關(guān)數(shù)據(jù)分析和使用的行為準則，用來規(guī)范數(shù)據(jù)科學家的行為，該行為準則囊括了數(shù)據(jù)科學家的角色和職責在內(nèi)的所有內(nèi)容。

　　“企業(yè)也開始明白了數(shù)據(jù)信息二次使用和個人數(shù)據(jù)濫用的危害?！盬alker說：“一旦企業(yè)開始有這樣的想法，那么他們會非常希望有一個行為準則來規(guī)范他們，以免造成不必要的麻煩?！?/P>

　　Michael Walker表示，數(shù)據(jù)科學家也應該向醫(yī)生或者律師一樣，利用一些道德行為準則嚴格約束自己的行為。為此，他為這些數(shù)據(jù)管理和分析的人制定了一系列準則和規(guī)范，以規(guī)范這些數(shù)據(jù)科學家們的品行，保護顧客的隱私。

　　超級人工智能建構(gòu)未來

　　“大數(shù)據(jù)或許會在未來某個階段被定義為：對人類世界的真實還原，并且不斷地滿足我們的任何愿望?！?/P>

　　——懷進鵬

　　火爆英劇《黑鏡》中有這樣一段引人深思的劇情：Martha的男友Ash是個社交媒體迷，幾乎天天泡在Twitter、Facebook這類網(wǎng)站上。糟糕的是，Ash不幸遇難。在Ash的葬禮上，Martha的朋友Sarah稱她們可以利用Ash生前在社會媒體上留下的“生活軌跡”還原一個Ash。

　　于是，通過對Ash生前留在互聯(lián)網(wǎng)世界的數(shù)據(jù)分析挖掘、統(tǒng)計比較和重新組織，進而發(fā)現(xiàn)規(guī)律、構(gòu)建模型，最終實現(xiàn)準確“預測”，Martha身邊出現(xiàn)了一款功能極其強大的“大數(shù)據(jù)+云計算”的“再造人”，一個連思維人格都可以和因車禍而早逝的Ash“一模一樣”的機器人?！皺C器人Ash”可以像“真正Ash”那樣與活著的人進行對話和對事物做出反應甚至進行學習。

　　未來，大數(shù)據(jù)是否會給我們帶來這樣顛覆性的改變呢?

　　在今年的百度大數(shù)據(jù)開放大會上，中國科學院院士、現(xiàn)任北京航空航天大學校長懷進鵬的演講《超級人工智能：大數(shù)據(jù)的未來》似乎找到了未來的人工智能所能抵達的可能性。

　　要實現(xiàn)超級人工智能，懷進鵬首先提到了“眾包”概念。這是由美國《連線》雜志的記者杰夫·豪(Jeff Howe)在 2006年6月提出的。杰夫·豪對“眾包”的定義是: “一個公司或機構(gòu)把過去由員工執(zhí)行的工作任務，以自由自愿的形式外包給非特定的(而且通常是大型的)大眾網(wǎng)絡的做法。眾包的任務通常由個人來承擔，但如果涉及到需要多人協(xié)作完成的任務，也有可能以依靠開源的個體生產(chǎn)的形式出現(xiàn)。”

　　懷進鵬假設，目前我們可以做到眾包大數(shù)據(jù)軟件開發(fā)，那么大數(shù)據(jù)爬行機器可以根據(jù)讀取諸如新浪微博、百度指數(shù)、百度貼吧或是淘寶交易的數(shù)據(jù)，發(fā)現(xiàn)用戶的各種情緒以及需求的曲線，軟件開發(fā)者再根據(jù)這些數(shù)據(jù)的呈現(xiàn)開發(fā)出一套軟件的模型然后交給運營商放置于云端，而用戶再參與進入各種云端產(chǎn)生的軟件，在此種產(chǎn)生了各種行為，于是機器再根據(jù)這些用戶的行為，為軟件建模、規(guī)劃。

　　這是一種極為精尖交互式數(shù)據(jù)挖掘技術(shù)，前提是解決算法以及存儲問題，一切皆有可能。未來的大數(shù)據(jù)軟件將不會是一種固有形態(tài)，而是一個不斷根據(jù)數(shù)據(jù)自動變化的超級生態(tài)，可能不是依靠產(chǎn)品經(jīng)理推動，而是依靠算法工程師來推動，讓用戶的需求自然暴露，然后為他們?nèi)崿F(xiàn)一些功能。

　　如果真的能夠?qū)崿F(xiàn)這樣的大數(shù)據(jù)軟件建構(gòu)，那么懷進鵬認為，目前對大數(shù)據(jù)的某種定義將被完全推翻?！按髷?shù)據(jù)或許會在未來某個階段被定義為：對人類世界的真實還原，并且不斷地滿足我們的任何愿望，曾經(jīng)我們依靠它來決策一些事情，現(xiàn)在我們依靠它來直接抵達我們想要做的事情，我們所有的行為都已經(jīng)成為我們決策的一部分?！?/P>

　　整軍備戰(zhàn)中國大數(shù)據(jù)

　　——專訪英特爾公司數(shù)據(jù)中心事業(yè)部副總裁兼數(shù)據(jù)中心軟件部總經(jīng)理Boyd Davis

　　Cloudera公司聯(lián)合創(chuàng)始人、董事長、首席戰(zhàn)略官Mike Olson

　　記者：英特爾和Cloudera為何選擇對方成為自己的戰(zhàn)略合作伙伴?

　　Boyd Davis：我們致力于通過技術(shù)來實現(xiàn)和推動經(jīng)濟的發(fā)展，Hadoop正是這樣一個非?；A(chǔ)的技術(shù)，它代表的是使用信息的一種全新方式，可用于推動經(jīng)濟發(fā)展。英特爾通過和Cloudera合作，能夠參與到這個過程中，能夠讓Hadoop這樣一個開源的大數(shù)據(jù)軟件平臺，更好地與我們的芯片相契合，這符合我們的增長戰(zhàn)略。

　　Mike Olson：物聯(lián)網(wǎng)的時代數(shù)據(jù)正走向海量，容量比過去要大得多，我們需要有很強的能力來捕捉和分析這些數(shù)據(jù)。作為全球在這一領(lǐng)域中的領(lǐng)導者，英特爾和Cloudera的合作，將催生芯片方面和軟件方面的更多創(chuàng)新機會，將幫助更多企業(yè)用戶做好風險控制，做好數(shù)據(jù)分析，也就是能夠推動整個大數(shù)據(jù)產(chǎn)業(yè)和應用的發(fā)展。

　　記者：中國目前的大數(shù)據(jù)產(chǎn)業(yè)和市場的吸引力主要在哪里?

　　Mike Olson：中國的醫(yī)療行業(yè)、智慧城市、智慧交通、金融服務、電信業(yè)等方面，已經(jīng)展示出了中國大數(shù)據(jù)市場的大量機會，我相信從更廣義的角度來看，物聯(lián)網(wǎng)市場也將是巨大的增長引擎，相關(guān)應用可能涉及到更多行業(yè)和領(lǐng)域，比如運輸業(yè)和制造業(yè)。相信物聯(lián)網(wǎng)將會帶來一個規(guī)模更大的增長效應，或者能創(chuàng)造一個更大的市場機會。

　　記者：大數(shù)據(jù)應用在中國市場會遇到哪些獨特的挑戰(zhàn)?

　　Boyd Davis：在大數(shù)據(jù)應用模式上，中國和世界其他地區(qū)還是比較類似的，差異主要在于中國的人口和經(jīng)濟、市場和企業(yè)的規(guī)模更大。因此，無論是企業(yè)還是政府的領(lǐng)導，都需要盡可能地發(fā)揮想象力、創(chuàng)造力，能夠更好地利用海量的數(shù)據(jù)，以不斷改進、創(chuàng)造一些新的服務和體驗。另外，相關(guān)法律法規(guī)和政策方面的挑戰(zhàn)也是客觀存在的。

　　記者：我們應該如何在大數(shù)據(jù)時代保護好用戶數(shù)據(jù)的安全?

　　Boyd Davis：對數(shù)據(jù)隱私或者個人信息的保護，對很多行業(yè)，特別是金融行業(yè)或醫(yī)療行業(yè)來說都是至關(guān)重要的。在谷歌、Facebook、雅虎剛剛開始開發(fā)大數(shù)據(jù)平臺的時候，安全性其實做的并不好。但在過去幾年里，數(shù)據(jù)安全保護的水平、隱私保護的水平提升得很快，相關(guān)的安全技術(shù)，在我們的金融服務及醫(yī)療行業(yè)的用戶那里也有了很多的部署和應用。對于英特爾而言，我們有Rhino的開源項目，它的安全性和加密技術(shù)在整個平臺范圍內(nèi)做得非常好。對于Cloudera而言，也有專注于安全的Sentry項目，它也能對數(shù)據(jù)的保護進行嚴格控制。現(xiàn)在我們的合作，將能實現(xiàn)更好的數(shù)據(jù)安全性和個人隱私保護能力。數(shù)據(jù)安全性在整個行業(yè)內(nèi)是需要所有廠商永遠為之努力的目標，我們的努力，已經(jīng)讓它相比過去五到六年改善了很多。