近幾年，大數據這個(gè)概念已經(jīng)被炒的甚囂塵上。似乎大數據是一個(gè)無(wú)比高深的話(huà)題，碰巧，筆者在大學(xué)的研究方向就是和大數據相關(guān)的人工智能，而且也有很多朋友是在大型視頻網(wǎng)站團購網(wǎng)站等互聯(lián)網(wǎng)公司從事大數據相關(guān)工作，所以在這里就給大家介紹一下大數據的概念。當然，我們不會(huì )去解釋大數據相關(guān)技術(shù)（CF協(xié)同濾波，MapReduce，DeepLearning等等），畢竟讀者們不太可能會(huì )去自己編寫(xiě)大數據的程序。我們只從應用角度，給大家講講大數據的概念以及應用方式。希望大家看完這一章后，可以知道，在自己的領(lǐng)域，可以怎樣用大數據的理念和方法，來(lái)提高效率。

大數據是什么？

雖然大數據聽(tīng)著(zhù)是一個(gè)很高科技的詞兒，其實(shí)它早就滲透到你我的生活中，比如，你每天在網(wǎng)上看視頻時(shí)，視頻網(wǎng)站推薦給你的視頻就是基于大數據。當你在淘寶購物時(shí)，網(wǎng)頁(yè)邊欄推薦給你的也是基于大數據。要說(shuō)明白大數據，首先我們要從一個(gè)大家都熟悉的簡(jiǎn)單概念說(shuō)起，那就是：數據分析?！皵祿治觥笔且粋€(gè)現代詞匯，但是利用數據分析的結果來(lái)指導行動(dòng)，卻是古往今來(lái)一直都有的一個(gè)理念。網(wǎng)上有一段子：

林彪帶兵打仗的時(shí)候，有個(gè)特別的習慣，那就是每次戰斗結束后，都要用小本子記下所繳獲的武器種類(lèi)、數量等數據，樂(lè )此不疲。大家對此都不以為意。有一天，在又一次遭遇戰后，士兵在給他念繳獲的武器數量時(shí)，他突然叫停，然后興奮地指出，這次遭遇戰很可能遇到的是敵人的指揮部隊。原因是，這次繳獲的小槍與大槍的比例高于普通的戰斗，小車(chē)與大車(chē)的比例以及軍官與士兵的比例也都高于平均，因此他得到了這個(gè)結論。在這個(gè)數據的指導下，部隊一鼓作氣，追擊逃脫的部隊，成功的把敵人的指揮官抓獲。

如果這個(gè)故事屬實(shí)，那么這個(gè)可能是筆者知道的最早的基于嚴謹的數據分析來(lái)指導行為的例子。進(jìn)入現代以后，人們對數據的分析應用就更加頻繁。企業(yè)在做戰略規劃的時(shí)候要進(jìn)行數據分析，公司在做營(yíng)銷(xiāo)推廣方案時(shí)也要做數據分析。那么，“大數據”和前面說(shuō)的“數據分析”之間有什么關(guān)系和區別呢？

從粗獷到細致

我們知道，數據分析需要有幾個(gè)步驟：采集、統計、分析，而數據的總量直接和采集相關(guān)。在互聯(lián)網(wǎng)興起之前，人們采集數據的方式無(wú)外乎是人為觀(guān)察和記錄，當然，后期也有利用傳感器來(lái)輔助記錄。但是，互聯(lián)網(wǎng)技術(shù)近幾年的發(fā)展，卻使得數據的采集水平記錄達到一個(gè)史無(wú)前例的高度。在互聯(lián)網(wǎng)時(shí)代之前，人們只能統計到一些基礎的用戶(hù)信息：年齡，住址，電話(huà)，婚姻狀況等。到了互聯(lián)網(wǎng)時(shí)代，我們可以收集到一個(gè)用戶(hù)手機上裝有什么應用，喜歡上什么網(wǎng)站，購物記錄，在某個(gè)頁(yè)面上停留了多久，鼠標在頁(yè)面什么位置點(diǎn)擊。而移動(dòng)互聯(lián)網(wǎng)時(shí)代的來(lái)臨，使得更多動(dòng)態(tài)數據可以被采集，比如用戶(hù)的 睡眠時(shí)間、運動(dòng)量、位置、在商場(chǎng)內的移動(dòng)路線(xiàn)、打車(chē)次數、心率等等信息。這些數據最終匯聚在一起，形成了一個(gè)非常龐大的數據庫。

以林彪帶兵打仗為例，假設他的小本子有500頁(yè)，每頁(yè)上記滿(mǎn)1000個(gè)字，正反兩面都寫(xiě)，那么總的數據量也就約=2M。這個(gè)和互聯(lián)網(wǎng)時(shí)代動(dòng)輒上T上P的數據量比，基本上是小巫見(jiàn)大巫。（1P約=1000T，1T約=1000G，1G約=1000M，一個(gè)大型視頻網(wǎng)站1秒鐘就能產(chǎn)生幾百M的用戶(hù)數據）。這些數據海量數據的集中，就形成了“大數據”的最重要的一個(gè)特征：多維度的、細致的、海量的數據。

注：“海量”并不是大數據的必要條件，它更多是因為數據的維度多，粒度細，而導致的數據量的增大。

從統計到預測

得益于先進(jìn)的機器學(xué)習算法，使得我們對大數據的使用，從統計一個(gè)數據結果，到利用結果和特性來(lái)推斷一個(gè)人可能進(jìn)行的行為。

《BigData》一書(shū)中提到一個(gè)很有意思的例子：一個(gè)父親突然收到一個(gè)百貨公司發(fā)給他的關(guān)于嬰兒用品的傳單，這個(gè)父親非常憤怒，因為他的女兒才只有16歲？但是，過(guò)了幾天后，他卻上門(mén)道歉，因為，經(jīng)過(guò)和他女兒細聊，發(fā)現他的女兒確實(shí)懷孕了。

那么，百貨公司是如何預測一個(gè)人的行為呢？像上文所說(shuō)，通過(guò)互聯(lián)網(wǎng)，我們可以采集到大量用戶(hù)的種種信息，包括固定的屬性，和一些已有的行為；比如最近買(mǎi)了什么。經(jīng)過(guò)對采集到的數據分析，發(fā)現購買(mǎi)嬰兒用品的人有如下特征：年齡范圍在14～40、買(mǎi)嬰兒用品前幾個(gè)月購買(mǎi)大量酸味食品，等等等等。那么，得到這個(gè)結論后，再來(lái)一個(gè)有類(lèi)似特點(diǎn)的顧客，百貨公司就可以猜測，她可能在未來(lái)一段時(shí)期內，對嬰兒用品感興趣。于是便向其發(fā)送對應的廣告。

再比如，智能推薦廣告：視頻網(wǎng)站經(jīng)過(guò)統計發(fā)現，點(diǎn)擊了啤酒廣告的人，有如下特點(diǎn)：看體育類(lèi)戰爭類(lèi)視頻較多，看韓劇較少。那么很顯然，下次再有啤酒廣告時(shí)，把它們投給這樣的用戶(hù)就更有效一些。

注：上面舉的這兩個(gè)例子，只是為了形象的說(shuō)明大數據預測是怎樣運作的。在實(shí)際應用中，大數據分析引擎要分析的屬性比這個(gè)細致的多，使用到的算法也比這個(gè)復雜的多，而且得到的很多結論，往往是沒(méi)有直觀(guān)的物理意義的一個(gè)組合概率模型。

從慢到快

上述兩個(gè)特點(diǎn)基本上已經(jīng)把大數據的形態(tài)給刻畫(huà)了出來(lái)，但是，要到實(shí)際中應用，還需要再加一個(gè)特點(diǎn)：速度夠快。

數據收集起來(lái)之后，要使用的話(huà)，就離不開(kāi)計算。當數據的量級在幾個(gè)M時(shí)，可能一個(gè)計算器就能滿(mǎn)足統計需求。當數據量達到幾個(gè)G時(shí)，就必須使用一臺計算機來(lái)計算。而當有幾個(gè)T幾個(gè)P的數據擺在你面前時(shí)，一臺計算機恐怕已經(jīng)難以勝任，很幸運的是，我們有了云計算的概念。也就是說(shuō)，將一個(gè)計算任務(wù)，分配給”云端“的好多臺計算機同時(shí)進(jìn)行處理，從而達到對處理時(shí)間的苛刻要求。

云計算技術(shù)的發(fā)展，使得在大尺度上計算海量數據成為可能。如果沒(méi)有足夠快的處理速度，我們收集起來(lái)的用戶(hù)消費數據，算了半年才出一個(gè)結果，那估計用戶(hù)的消費習慣、社會(huì )時(shí)尚已經(jīng)是時(shí)過(guò)境遷。除了處理速度快，還有一個(gè)因素也要快，那就是信息采集反饋的速度。比如，用戶(hù)電話(huà)打進(jìn)來(lái)的瞬間，我們是否立刻收集到該用戶(hù)相關(guān)信息，然后給出用戶(hù)可能的問(wèn)題預測？產(chǎn)品投放出去后，我們是否可以很快收集到銷(xiāo)量信息以及對應的用戶(hù)數據？這一切，都決定了我們是否可以有效地將大數據的統計結果應用到商業(yè)活動(dòng)中，最終使大數據從理論的圣壇上走下來(lái)，產(chǎn)生了實(shí)際的商業(yè)價(jià)值。綜上所述，大數據并不是玄乎其玄的東西，它只是在幾種現代技術(shù)的推動(dòng)下，將數據分析做到了極致的結果。

大數據的應用場(chǎng)景

大數據誕生以來(lái)，在各個(gè)領(lǐng)域都有非常多的應用，比如改善航線(xiàn)、預測污染、優(yōu)化醫療等等。這里，我們把應用方式分成兩大類(lèi)，分別介紹一下。

精準的廣告投放

我們知道廣告界的一個(gè)難題“如何找到對的那一半人”。而大數據正是可以用來(lái)更加精準的定位廣告的目標用戶(hù)。廣告投放包括第三方廣告渠道和自有廣告渠道兩種：

第三方廣告渠道由于是第三方操作的，所以對于廣告主來(lái)說(shuō)只能去選擇合適的渠道種類(lèi)。第三方渠道總體上可以分為兩大類(lèi)：互聯(lián)網(wǎng)廣告渠道（視頻網(wǎng)站、門(mén)戶(hù)網(wǎng)站、廣告聯(lián)盟等）和非互聯(lián)網(wǎng)廣告渠道（戶(hù)外廣告、樓宇廣告、電視廣告等）。目前，互聯(lián)網(wǎng)廣告已經(jīng)在大數據精準投放上走的比較遠，比如前面說(shuō)的視頻網(wǎng)站根據用戶(hù)點(diǎn)播行為，來(lái)投放合適的廣告類(lèi)型。所以，在這樣的渠道上投放廣告時(shí)，只需要廣告主能和渠道方合作定義好自己的用戶(hù)群，便可以將廣告投放的比較精準。

非互聯(lián)網(wǎng)廣告渠道，因為沒(méi)有特別有效的用戶(hù)細分手段（廣告只能投放到人群，而非個(gè)人），投放形式本身就限制了其精準的效果。對此，未來(lái)的一個(gè)出路就是，各種路牌廣能采集到附近用戶(hù)的信息，來(lái)動(dòng)態(tài)調整廣告內容。

比如，沒(méi)有廣告牌都有一個(gè)iBeacon設備，會(huì )和打開(kāi)iBeacon連接的手機產(chǎn)生互動(dòng)，根據手機信息，反查到用戶(hù)的性別，從而決定顯示什么廣告。

而對于自有廣告渠道來(lái)說(shuō)，我們可以操作的空間就比較大。拿短息渠道為例，很多公司都會(huì )通過(guò)手機短信，給用戶(hù)發(fā)送最新的促銷(xiāo)信息，但是，以往這種信息通常是全量發(fā)送，或者是根據一定的可視化的分類(lèi)（例如，信用卡的消費額度）來(lái)分類(lèi)發(fā)送促銷(xiāo)信息。而我們有了大數據的武器后，就可以對用戶(hù)群進(jìn)行進(jìn)一步細分，甚至是1對1的發(fā)送。比如，信用卡公司可以根據用戶(hù)的刷卡的頻次、場(chǎng)所、購物內容、還款的及時(shí)性、消費時(shí)段等等來(lái)作為分析因素，來(lái)預測用戶(hù)對什么樣的商品感興趣，從而發(fā)送相應的商品廣告。再比如，化妝品公司，可以根據用戶(hù)的年齡、工作內容、作息習慣、娛樂(lè )場(chǎng)所、季節、婚育狀況、衣著(zhù)習慣、朋友圈話(huà)題等等，來(lái)預測她可能更關(guān)心什么樣的皮膚護理問(wèn)題，從而推薦對應的化妝品門(mén)類(lèi)。通過(guò)對多維度、細致的信息分析，使得廣告推送更有針對性

個(gè)性化的用戶(hù)服務(wù)定制

個(gè)性化服務(wù)要解決的問(wèn)題是，不同用戶(hù)服務(wù)內容和定價(jià)的個(gè)性化。以我們熟知的車(chē)險為例，目前的定價(jià)方式，只是簡(jiǎn)單的根據用戶(hù)的年齡、駕齡、婚姻狀況、車(chē)價(jià)和以往的車(chē)險理賠記錄等顯式的屬性來(lái)進(jìn)行區分，而在大數據時(shí)代，則可以把這種區分做到極致的個(gè)性化。比如，我們可以統計用戶(hù)的駕駛習慣（駕駛時(shí)間，單次駕駛時(shí)長(cháng)）、駕駛環(huán)境（常去路線(xiàn)的交通狀況、總體事故率、季節天氣）、身體狀況（生病頻率等），來(lái)更加針對性的對用戶(hù)的理賠概率進(jìn)行估計，從而得到更加合理的投保額度。再比如，對于培訓機構來(lái)說(shuō)，可以分析特定屬性的用戶(hù)（年齡、性別、各種成績(jì)等），對特定類(lèi)型的授課方式或者授課內容的成績(jì)反應，來(lái)有針對性的進(jìn)行課業(yè)的搭配，從而使每個(gè)用戶(hù)的成績(jì)達到最大化。同樣，醫學(xué)領(lǐng)域，也可以利用大數據來(lái)進(jìn)行個(gè)性化疾病預防和治療。智能穿戴設備為這一切打下了堅實(shí)的基礎：

• 手環(huán)，監測你的運動(dòng)量、心跳變化

• 智能血壓儀，每天監測血壓

• 體重秤，每天體重變化

• 空氣凈化器，監測環(huán)境的污染情況

• 上網(wǎng)習慣，檢測你的作息時(shí)間

• 訂餐記錄，檢測你的飲食情況

如果以后有了更方便的血液檢測手段，每天能獲得血液檢測記錄，那將是更有效的數據

這些數據分散開(kāi)的話(huà)，最多只會(huì )影響對人們的生活習慣，比如，體重重了，要少吃多運動(dòng)。但是一旦數據全都被打通，結合大數據分析技術(shù)，就可以預測出每個(gè)人的疾病發(fā)病概率。對每個(gè)人治療時(shí)，也可以在藥物和用量上變得更加有針對性。

機遇與挑戰

大數據應用在國外已經(jīng)興起很長(cháng)時(shí)間，但是在國內，卻是剛剛起步階段。一方面是國內對數據收集的管控比較嚴，導致數據基礎設施沒(méi)有跟上。而更重要的，還是人們對大數據的理念還沒(méi)有完全吃透，大部分大數據應用的思想，只為專(zhuān)業(yè)的大數據工程師所掌握。而就在我們還沒(méi)有準備迎接傳統互聯(lián)網(wǎng)大數據的潮流時(shí)，近幾年，移動(dòng)互聯(lián)網(wǎng)有了勢如破竹的發(fā)展。大部分公司，移動(dòng)端業(yè)務(wù)，都已經(jīng)超過(guò)了PC網(wǎng)站，這給大數據帶來(lái)了新的機遇與挑戰：

（隨著(zhù)種種O2O連接技術(shù)的發(fā)展，使得商家能夠更方便的觸摸到附近的用戶(hù)，而因為用戶(hù)的移動(dòng)性，需要商家能夠在用戶(hù)經(jīng)過(guò)線(xiàn)下店的短暫時(shí)間內作出響應）

如果廣大產(chǎn)品設計者，能夠充分掌握大數據思想，在設計產(chǎn)品時(shí)，打通數據之間的壁壘，將海量數據同服務(wù)更加有效的連接起來(lái)，相信各個(gè)行業(yè)都會(huì )迎來(lái)一片更廣闊的天地。