中國大數(shù)據(jù)行業(yè)的下一步走向
來源：原創(chuàng) 時間：2017-06-29 瀏覽：0 次（1） 先說說大數(shù)據(jù)熱潮的推動力
要想了解清楚大數(shù)據(jù)行業(yè)下一步往哪里走，必須要先看清楚大數(shù)據(jù)這個行業(yè)，主要是被哪幾股力量在推動著。在大數(shù)據(jù)行業(yè)前進的每一步，你都要思考這些多方推動力量的此消彼長。
一、基礎(chǔ)設(shè)施支撐：說大數(shù)據(jù)還得從云計算說起
早在2004年，各種虛擬機就出現(xiàn)了。當時人們不叫云計算，只是覺得可以把一臺高性能的服務(wù)器切成N個虛擬機，這樣便于一些邊緣應(yīng)用系統(tǒng)、或者測試環(huán)境能在上面跑，不需要單獨獨占一臺物理服務(wù)器。后來人們還注意到一個好處，就是可以環(huán)境隔離?，F(xiàn)在開發(fā)應(yīng)用系統(tǒng)都要依賴很多底層框架，這些框架具有依賴性，還帶有版本依賴性，所以不同應(yīng)用系統(tǒng)需要的依賴關(guān)系以及版本都不同，要部署在一起就非常復(fù)雜，非常容易連鎖異常牽一發(fā)動全身。這個隔離性特點更值得大家關(guān)注。
2011-2013這三年，國家層面鼓動云計算、新能源、基礎(chǔ)網(wǎng)絡(luò)設(shè)施建設(shè)，在大背景口號下，搞了不少高新產(chǎn)業(yè)園，批了不少地，建立了不少IDC機房，號稱云基地。首先是服務(wù)器、機架、電力、帶寬這些基礎(chǔ)算是上了一個新臺階了，這也算是一個進步。
2012年開始，OpenStack開源風起，虛擬機的集群管理終于有主了，云服務(wù)商可以大規(guī)模進行虛機管理了。2014年，Docker和Kubernates開源風起，也是起到了更輕便資源占用的隔離性。
到底要在云上干些什么，什么應(yīng)用場景是要嚴重依賴云的大規(guī)模計算技術(shù)和存儲技術(shù)？是互聯(lián)網(wǎng)媒體？是社交IM？是網(wǎng)絡(luò)游戲和手機游戲？是視頻播放與直播？是B2C電子商務(wù)？是企業(yè)SaaS？是智能硬件云端物聯(lián)？還是大數(shù)據(jù)平臺？
二、企業(yè)信息掌控者被迫轉(zhuǎn)型：說大數(shù)據(jù)還得從企業(yè)SaaS說起
2014-2016這三年，大量創(chuàng)業(yè)SaaS產(chǎn)生，紛紛搭建在云虛擬主機集群上。而且都以低租金、公有形式進行售賣和實施。
過去需要大金額購買服務(wù)器、網(wǎng)絡(luò)帶寬、存儲、磁盤、操作系統(tǒng)、中間件、安全軟件，需要進行嚴謹合規(guī)的立項、招標評標，需要安裝部署實施、初始化配置、復(fù)雜功能IT操作培訓(xùn)，還需要持續(xù)監(jiān)控、運維、性能調(diào)優(yōu)等等，現(xiàn)在都不需要了。
免費開通免費用，過了試用期覺得不錯就續(xù)費，一個月才上千元，還可以直接支付寶或微信支付。
這意味著企業(yè)IT部門沒事干了，被架空了。這點租用費，企業(yè)業(yè)務(wù)部門都能自己出，而且試用好才購買。而且現(xiàn)在搞企業(yè)SaaS都非常注重產(chǎn)品用戶體驗，所以也不用像過去那樣需要專業(yè)的IT操作培訓(xùn)了。而且現(xiàn)在企業(yè)SaaS商把安裝部署、初始化、持續(xù)運維監(jiān)控優(yōu)化、備份遷移，全都自己在后臺包了，不用企業(yè)業(yè)務(wù)部門和企業(yè)IT部門操心了。
不僅是企業(yè)SaaS抄了企業(yè)IT部的后路，而且企業(yè)新興業(yè)務(wù)也都抄了企業(yè)IT部的后路?，F(xiàn)在企業(yè)都紛紛轉(zhuǎn)型“+互聯(lián)網(wǎng)”，重心就是開展互聯(lián)網(wǎng)營銷和電子商務(wù)交易。但是，互聯(lián)網(wǎng)營銷被營銷部拿走了，電子商務(wù)交易被銷售部或者新成立的電子商務(wù)事業(yè)部給拿走了。企業(yè)IT部就剩下老業(yè)務(wù)老系統(tǒng)，新的擴張的疆域都是別人的，這下企業(yè)SaaS都來了，企業(yè)IT部門就更沒有未來了。
那企業(yè)IT部的出路在哪里？CIO想到了云計算、大數(shù)據(jù)、人工智能這三個熱點。
但買一堆云主機、云網(wǎng)絡(luò)、云存儲、云數(shù)據(jù)庫，企業(yè)到底要干什么？做互聯(lián)網(wǎng)營銷，有微信公眾號、微博、百度SEO、貼吧、微信群、QQ空間等等，做電子商務(wù)有京東POP和天貓平臺等等第三方平臺，即使搞官方獨立旗艦店，也有微店、有贊這樣的低收費甚至免費的移動APP?，F(xiàn)在連內(nèi)部系統(tǒng)都SaaS化了。要一堆云主機、云網(wǎng)絡(luò)、云存儲、云數(shù)據(jù)庫，干嘛？
嗯，大數(shù)據(jù)。企業(yè)信息官（CIO），轉(zhuǎn)型成為CDO（企業(yè)數(shù)據(jù)官）。你們開展互聯(lián)網(wǎng)業(yè)務(wù)、電子商務(wù)業(yè)務(wù)，都是沉淀數(shù)據(jù)，我匯集數(shù)據(jù)、利用數(shù)據(jù)、產(chǎn)生數(shù)據(jù)價值。
三、國家信息戰(zhàn)略推動：說大數(shù)據(jù)還得從貴州大數(shù)據(jù)說起
國家提完云計算，一堆IDC建設(shè)起來了。國家從2014年又開始提大數(shù)據(jù)，這堆IDC終于能利用上了。于是各種扶植補貼、稅收優(yōu)惠政策又都出來了，媒體也在紛紛提大數(shù)據(jù)，各地政府、政府業(yè)務(wù)部門、經(jīng)信委都在立項大數(shù)據(jù)。有的在搞大數(shù)據(jù)共享平臺，有的在搞大數(shù)據(jù)產(chǎn)業(yè)服務(wù)平臺。這都是考核KPI啊。每個干部都要成為21世紀的新型干部，要學(xué)習(xí)互聯(lián)網(wǎng)，善于利用互聯(lián)網(wǎng)，要用數(shù)據(jù)來指導(dǎo)工作，要利用數(shù)據(jù)進行資源整合組織。
于是，一批奔著風投熱潮、國家口號熱潮、國家補貼政策熱潮的廠商都蜂擁而至。
四、技術(shù)實現(xiàn)：說大數(shù)據(jù)還得從大數(shù)據(jù)開源技術(shù)說起
來了，得賣產(chǎn)品啊。但賣啥大數(shù)據(jù)產(chǎn)品啊。
幸虧開源來了：
1、Redis、MongoDB、influxDB...，提供了各種各樣數(shù)據(jù)類型的分布式存儲引擎
2、Sqoop、kafka，提供了海量數(shù)據(jù)的抽取和傳輸
3、Hadoop提供了海量大數(shù)據(jù)的存儲引擎和計算引擎
4、Hbase、Hive，提供了大數(shù)據(jù)倉庫技術(shù)
5、Presto、Spark、Storm，提供了更快的查詢、更快內(nèi)存運算速度、更及時反饋結(jié)果的流式計算
6、Lucene、Nutch、Solr、ElasticSearch，提供了海量信息的爬蟲、索引、搜索
7、Flume、Logstash、Splunk、Kibana，提供了海量日志收集、用戶點擊流收集
終于有底層系統(tǒng)產(chǎn)品可以賣了，嘿嘿。真是應(yīng)了我常說的那句話：硅谷不開源，中國IT企業(yè)就捉急死了。
但是企業(yè)買了一堆這些底層系統(tǒng)產(chǎn)品又能干嘛呢，這不是企業(yè)的目標啊。
（2）大數(shù)據(jù)應(yīng)用
第一階段：數(shù)據(jù)倉庫與商業(yè)智能
企業(yè)IT部門買了一堆大數(shù)據(jù)底層系統(tǒng)產(chǎn)品和一堆云主機云存儲云網(wǎng)絡(luò)，接下來怎么干？
那就先從自己最熟悉的數(shù)據(jù)倉庫、報表統(tǒng)計、圖表展示、商業(yè)智能開干。但是，數(shù)據(jù)倉庫和商業(yè)智能已經(jīng)在企業(yè)領(lǐng)域被洗腦被上線建設(shè)搞了N次了，這次再上線大數(shù)據(jù)倉庫的理由是啥？
企業(yè)搞商業(yè)智能已經(jīng)走過了兩個階段：
1、統(tǒng)計報表階段。產(chǎn)品經(jīng)理或業(yè)務(wù)分析師定義報表模型，由軟件工程師SQL語句寫出報表。但這樣的玩法性能差、定制差（想組合一些指標來做報表，每次得新寫SQL）
2、商業(yè)智能階段。把數(shù)據(jù)ETL到多維數(shù)據(jù)倉庫，可以多維指標自由組合，彌補了報表制作技能要求門檻、成本、開發(fā)效率的問題。由于專門多維數(shù)據(jù)倉庫技術(shù)架構(gòu)處理，所以報表跑的性能也高。
但是，傳統(tǒng)的商業(yè)智能技術(shù)架構(gòu)在如今又遇到問題了。第一是數(shù)據(jù)增多了。企業(yè)從單點窗口業(yè)務(wù)處理，一路走來到企業(yè)內(nèi)部部門之間聯(lián)動，到集團化多元化，業(yè)務(wù)系統(tǒng)上的是遍布企業(yè)各個部門各種業(yè)務(wù)，企業(yè)規(guī)模是越來越大分支機構(gòu)越來越多，數(shù)據(jù)多年積累的也越來越多。所以過去BI能夠很快出報表結(jié)果的，現(xiàn)在等好長時間才能出來，這就讓管理者很不爽。甚至有些報表需要運行好幾個小時，更恐怖的要運行幾天。怎么優(yōu)化呢？沒法優(yōu)化，過去的數(shù)據(jù)倉庫和商業(yè)智能的技術(shù)架構(gòu)就決定了沒法擴展。
第二是數(shù)據(jù)類型增多了。由于智能移動手機的出現(xiàn)，各種非結(jié)構(gòu)化數(shù)據(jù)甚至流數(shù)據(jù)產(chǎn)生了，比如社交消息、地圖路徑、位置、照片、視頻、錄音，開始受到熱點重視，導(dǎo)致傳統(tǒng)的商業(yè)智能技術(shù)架構(gòu)難以高性能存取這些非結(jié)構(gòu)化數(shù)據(jù)。
所以，分布式擴張的、存取各種數(shù)據(jù)類型的大數(shù)據(jù)技術(shù)平臺出現(xiàn)了，傳統(tǒng)的數(shù)據(jù)倉庫和商業(yè)智能需要升級了。
能把這些需求滿足了，也是一種進步啊。各位高大上的大數(shù)據(jù)技術(shù)公司，雖然這可能不是最正道的大數(shù)據(jù)，但千萬別把數(shù)據(jù)倉庫不當事啊。這才是客戶真實的第一步剛需啊。
但要建設(shè)好數(shù)據(jù)倉庫與商業(yè)智能也不容易。大數(shù)據(jù)建設(shè)有兩個難點：一個難點是大數(shù)據(jù)建設(shè)的團隊打造，另一個難點是數(shù)據(jù)處理。
要想建設(shè)好大數(shù)據(jù)，需要很多專業(yè)團隊互相配合才能成功，這里需要：大數(shù)據(jù)技術(shù)平臺研發(fā)團隊、大數(shù)據(jù)技術(shù)平臺運維團隊；數(shù)據(jù)ETL抽取清洗團隊、數(shù)據(jù)特征標準團隊；商業(yè)建模產(chǎn)品團隊、數(shù)據(jù)算法研究團隊；商業(yè)數(shù)據(jù)分析團隊。
在數(shù)據(jù)處理方面，每個關(guān)鍵環(huán)節(jié)目前仍然存在需要大的困難。在數(shù)據(jù)收集環(huán)節(jié)，要收集到全產(chǎn)業(yè)鏈社會數(shù)據(jù)、現(xiàn)場數(shù)據(jù)、社會數(shù)據(jù)，需要我們打造產(chǎn)業(yè)鏈SaaS平臺、需要我們進行全產(chǎn)業(yè)鏈智能化改造，需要我們和眾多互聯(lián)網(wǎng)公司電商公司金融公司合作交換數(shù)據(jù)；在數(shù)據(jù)加工環(huán)節(jié)，需要加強系統(tǒng)集成、數(shù)據(jù)標準設(shè)計、主數(shù)據(jù)質(zhì)量管理；在數(shù)據(jù)抽取環(huán)節(jié)，需要對不同來源不同結(jié)構(gòu)的數(shù)據(jù)進行業(yè)務(wù)邏輯性的剖析，你才能做到數(shù)據(jù)正確的抽取轉(zhuǎn)化，這需要數(shù)據(jù)ETL人員對業(yè)務(wù)、對數(shù)據(jù)邏輯都有深刻的理解；在數(shù)據(jù)價值應(yīng)用環(huán)節(jié)，商業(yè)洞察一直是難題，不管是商業(yè)分析模型的構(gòu)建、人工智能算法的應(yīng)用、商業(yè)數(shù)據(jù)的洞察解讀，都需要商業(yè)建模產(chǎn)品團隊、數(shù)據(jù)算法研究團隊、商業(yè)數(shù)據(jù)分析團隊三者緊密合作，而他們的知識結(jié)構(gòu)和思考重心全都不一樣，能共同互補產(chǎn)生出價值分析，這確實很難。
所以對于大數(shù)據(jù)技術(shù)公司，最好的落地方式就是和行業(yè)應(yīng)用軟件商、行業(yè)解決方案提供商一起合作，一方提供很牛的大數(shù)據(jù)技術(shù)平臺，一方提供很好的業(yè)務(wù)分析模型。這需要建立很好的合作伙伴生態(tài)體系，才能提供各行各業(yè)的業(yè)務(wù)分析。
對于大數(shù)據(jù)技術(shù)公司被迫自己去了解業(yè)務(wù)、去搞行業(yè)業(yè)務(wù)分析模型，這簡直是找死。
第二階段：社會化大數(shù)據(jù)
過去的數(shù)據(jù)大多來自企業(yè)內(nèi)部，即使企業(yè)擴張為集團、多元化事業(yè)部群、上下游渠道商、合作伙伴、供應(yīng)商、配套商，也只是企業(yè)內(nèi)部。這些各個環(huán)節(jié)信息化建設(shè)、產(chǎn)業(yè)鏈信息化整合建設(shè)，在大型領(lǐng)頭羊企業(yè)中，近十年內(nèi)已經(jīng)完成。
現(xiàn)在產(chǎn)生了社會化數(shù)據(jù)需求的根源，在于企業(yè)要實施“+互聯(lián)網(wǎng)”戰(zhàn)略升級轉(zhuǎn)型，開展互聯(lián)網(wǎng)業(yè)務(wù)（營銷與客戶社區(qū)）、電子商務(wù)交易業(yè)務(wù)、金融信貸保險典當質(zhì)押業(yè)務(wù)、智能產(chǎn)品智能服務(wù)后市場業(yè)務(wù)、產(chǎn)業(yè)鏈服務(wù)生態(tài)開放業(yè)務(wù)。
所以產(chǎn)生了社會化大數(shù)據(jù)平臺建設(shè)熱潮：
1、社會化大數(shù)據(jù)支撐互聯(lián)網(wǎng)業(yè)務(wù)：主數(shù)據(jù)畫像、精準營銷推送、精準搜索、精準排名、精準推薦、互聯(lián)網(wǎng)及社交媒體輿情監(jiān)控
2、社會化大數(shù)據(jù)支撐電子商務(wù)：點擊流/用戶行為分析、用戶體驗改進；采購預(yù)測、定價預(yù)測、促銷預(yù)測、倉儲合理安排規(guī)劃、物流路徑智能推薦
3、社會化大數(shù)據(jù)支撐金融業(yè)務(wù)：社會360度數(shù)據(jù)收集（Open API市場、數(shù)據(jù)交換市場）；區(qū)塊鏈存儲可信可追溯不可篡改數(shù)據(jù)；信用評估
4、社會化大數(shù)據(jù)支撐智能服務(wù)后市場業(yè)務(wù)：產(chǎn)品使用習(xí)慣信息收集、產(chǎn)品磨損信息收集；產(chǎn)品維修遠程診斷；產(chǎn)品保險智能推薦、產(chǎn)品保養(yǎng)推薦；產(chǎn)品轉(zhuǎn)賣二手殘值評估、產(chǎn)品典當?shù)盅簹堉翟u估
5、社會化大數(shù)據(jù)支撐產(chǎn)業(yè)鏈服務(wù)生態(tài)開放業(yè)務(wù)：主數(shù)據(jù)開放、用戶行為用戶消費習(xí)慣大數(shù)據(jù)開放、信用數(shù)據(jù)開放、統(tǒng)計分析數(shù)據(jù)開放，為整個產(chǎn)業(yè)鏈端到端，由產(chǎn)品功能設(shè)計研發(fā)、原料采購、定價、生產(chǎn)數(shù)量、生產(chǎn)節(jié)奏、倉儲物流規(guī)劃、銷售、售后服務(wù)支持，全產(chǎn)業(yè)鏈優(yōu)化與聯(lián)動
第三階段：物聯(lián)大數(shù)據(jù)
除了互聯(lián)網(wǎng)社區(qū)、自媒體內(nèi)容、移動照片/視頻/IM消息、電子商務(wù)業(yè)務(wù)結(jié)構(gòu)數(shù)據(jù)外，還有更大一部分數(shù)據(jù)沒有收集，那就是現(xiàn)實一線的數(shù)據(jù)，它們需要通過在一線現(xiàn)場的各種無人設(shè)備、飛行設(shè)備、傳感器、可穿戴設(shè)備、攝像頭人工智能識別、AR設(shè)備來收集。
硬件工藝是中國制造的短板，所以近幾年中國智能硬件的風投幾乎全都撲街。想各個產(chǎn)品嵌入智能硬件，這個工藝改動和量產(chǎn)就有待時日。所以，各個產(chǎn)品的智能數(shù)據(jù)上傳到云端，并且還能通過智能物聯(lián)云達到產(chǎn)品之間的互動，這可能更有待時日。
但手機和攝像頭是中國成熟硬件，這樣最擅長拍照和視頻記錄，上傳到后端來進行人工智能識別處理。所以，這里需要大數(shù)據(jù)存儲平臺和人工智能處理引擎，搞圖片識別、語音視頻、視頻識別、文字識別。
人工智能這個領(lǐng)域已經(jīng)持續(xù)了夠30多年了，總是起起伏伏，不斷希望不斷失望再不斷希望?，F(xiàn)在就突然又火起來了。原因是什么？
原因就在于人工智能現(xiàn)在其實并不智能，并不能黑科技到模仿人腦子那樣（聽說IBM搞了這樣一個黑科技）。而現(xiàn)實中的人工智能，需要大量的外界數(shù)據(jù)輸入，人工智能算法模型經(jīng)過不斷數(shù)據(jù)訓(xùn)練，才能變得越來越智能。
過去，從數(shù)據(jù)產(chǎn)生、數(shù)據(jù)收集、數(shù)據(jù)傳輸、數(shù)據(jù)存儲、數(shù)據(jù)計算，各個環(huán)節(jié)都底層不支撐，所以人工智能一直沒有大數(shù)據(jù)來訓(xùn)練改進?，F(xiàn)在有了物聯(lián)傳感設(shè)備、移動手機、可穿戴設(shè)備、互聯(lián)網(wǎng)社區(qū)、電子商務(wù)、企業(yè)SaaS、高速網(wǎng)絡(luò)通信、云計算云存儲、大數(shù)據(jù)技術(shù)平臺，使這一切成為可能。
而這一波火起來的人工智能為啥聚焦在語音識別、圖片識別，這和移動智能手機的興起也很有關(guān)系。移動智能手機取消硬鍵盤，大量依靠多點觸摸，語音、攝像頭拍照圖片、攝像頭拍攝視頻，成為信息產(chǎn)生的主流。這些數(shù)據(jù)多了、應(yīng)用需求多了，所以人工智能就在這些方面聚焦了。
為什么我一直強烈建議大家要在云上搞大數(shù)據(jù)，而不是私有部署大數(shù)據(jù)，就是因為人工智能需要大數(shù)據(jù)訓(xùn)練，尤其是實時的在線的大數(shù)據(jù)，只有源源不斷的、新鮮的大數(shù)據(jù)來訓(xùn)練，人工智能才能提升。
而且，站在社會化大數(shù)據(jù)收集、互聯(lián)網(wǎng)和電子商務(wù)業(yè)務(wù)開展、企業(yè)SaaS開展、產(chǎn)業(yè)鏈服務(wù)平臺開放角度來看，云上的大數(shù)據(jù)也必然是趨勢。
（3）最后說說大數(shù)據(jù)的選型
一、先談?wù)劥髷?shù)據(jù)的獨特性
1、大數(shù)據(jù)需要的是全部數(shù)據(jù)而非抽樣數(shù)據(jù)
2、大數(shù)據(jù)需要實時、在線
3、關(guān)注運算效率而不是精確
4、關(guān)注相關(guān)性而不是因果關(guān)系
二、再談?wù)劥髷?shù)據(jù)技術(shù)的成熟度
2011年，Hadoop1.0發(fā)布；2012年，OpenStack開放給業(yè)界；2013年大數(shù)據(jù)查詢框架Presto發(fā)布；2014年，Spark1.0和Docker1.0發(fā)布；2015年，HBase1.0發(fā)布和分布式關(guān)系數(shù)據(jù)庫GreenPlum開源，2015年區(qū)塊鏈技術(shù)OpenChain也開源了；2016年，Storm1.0和Elastic5.0發(fā)布；
在人工智能領(lǐng)域，2015年2016年是爆發(fā)性的兩年。2015年微軟開源了分布式機器學(xué)習(xí)包DMTK；2015年Google開源了深度學(xué)習(xí)系統(tǒng)TensorFlow；2016年雅虎開源了人工智能引擎Caffe On Spark；2016年Facebook開源了圖像識別包DeepMark。
這么來看，大數(shù)據(jù)正處于蓬勃發(fā)展期，遠遠還沒有到達競爭格局固定期。
三、再看看大數(shù)據(jù)技術(shù)的發(fā)展趨勢
1、從數(shù)據(jù)收集方面來看：大數(shù)據(jù)主要還是通過自己自建互聯(lián)網(wǎng)、電商、物聯(lián)業(yè)務(wù)在收集，還有一些是通過戰(zhàn)略投資控股來收集。通過公開的大數(shù)據(jù)交換甚至交易平臺來收集數(shù)據(jù)的還比較少，大家在公開的數(shù)據(jù)售賣、數(shù)據(jù)風險安全、數(shù)據(jù)定價方面還有不少阻礙。公有區(qū)塊鏈技術(shù)和專有區(qū)
