一、大數(shù)據(jù)是怎么興起的，在我國公司界究竟有沒有需求土壤

大數(shù)據(jù)有許多類型，在我國公司軟件人看來卻只要一種（ERP結(jié)構(gòu)化事務(wù)數(shù)據(jù)）。

大數(shù)據(jù)在互聯(lián)網(wǎng)人眼里有許多種：即時(shí)通信IM數(shù)據(jù)、社交網(wǎng)絡(luò)聯(lián)系數(shù)據(jù)、相片數(shù)據(jù)、視頻數(shù)據(jù)、大規(guī)劃硬件的日志數(shù)據(jù)、地圖數(shù)據(jù)和定位方位數(shù)據(jù)、智能硬件數(shù)據(jù)。許多都對(duì)錯(cuò)結(jié)構(gòu)化數(shù)據(jù)，并且由所以集約的互聯(lián)網(wǎng)所以數(shù)據(jù)海量。數(shù)據(jù)海量就會(huì)決定搜集、傳輸、緊縮、存儲(chǔ)、核算、查詢查找、展現(xiàn)，都需求有新的技能架構(gòu)呈現(xiàn)。

所以啊，我們不要一提起大數(shù)據(jù)即是大數(shù)據(jù)剖析，由于許多大數(shù)據(jù)不具有剖析價(jià)值（但也許需求前史追溯查詢價(jià)值）?？墒悄慵偃绠a(chǎn)生了上述的海量數(shù)據(jù)，你要么扔掉，你要么就需求搜集、傳輸、緊縮、存儲(chǔ)、核算、查詢查找這些大數(shù)據(jù)技能啊，不單單僅僅一個(gè)大數(shù)據(jù)剖析單點(diǎn)環(huán)節(jié)。

因而在國外產(chǎn)生了N多的技能基礎(chǔ)設(shè)施來滿足上述現(xiàn)狀疑問：

搜集傳輸：BinLog、Kafka、Sqoop、Flume、Logstash

存儲(chǔ)：HadoopHDFS、Hbase、Redis、influxDB、NEO4J、MongoDB

核算：MapReduce、Spark、Storm

查詢查找：Hive、Presto、Flink、ElasticSearch

展現(xiàn)：Kibana

不少技能都是互聯(lián)網(wǎng)公司自個(gè)為了應(yīng)對(duì)自個(gè)的海量數(shù)據(jù)疑問，然后自個(gè)研制，然后開源。

我國的互聯(lián)網(wǎng)公司因而也都許多拿來這些干流的大數(shù)據(jù)處理技能中間件來處理自個(gè)的海量數(shù)據(jù)疑問。

可是呢，我們都用開源技能建立，這么商用大數(shù)據(jù)技能商品就對(duì)比為難了。這也即是我國國內(nèi)搞大數(shù)據(jù)技能商品的創(chuàng)業(yè)公司活的苦逼困難的因素。許多人老說國外狀況，一說國外狀況就笑的哈哈，一說國內(nèi)狀況就尿的唰唰。我說這里是我國，這里是他媽的我國，你們不要再當(dāng)二十八個(gè)布爾什維克兵士了，你們要多讀讀毛祖的書，他才是登時(shí)我國實(shí)際，這即是我國實(shí)際。

我倒有個(gè)主張，即是把大數(shù)據(jù)技能商品藏在底層，應(yīng)當(dāng)賣的是事務(wù)場(chǎng)景價(jià)值運(yùn)用。

許多搞大數(shù)據(jù)技能商品的創(chuàng)業(yè)公司不信我這個(gè)主張，期望的是自個(gè)供給大數(shù)據(jù)技能商品，尋覓合作伙伴來供給職業(yè)的運(yùn)用處理方案。我對(duì)這種途徑對(duì)比悲觀。我想起了我前幾天轉(zhuǎn)的一句話：你們成天掛在嘴邊的資本結(jié)合，很也許是個(gè)偽命題。真實(shí)的結(jié)合只要兩類狀況：一類是你把他人買下來（你有名貴的本錢資本）；另一類是你有共同的資本，他人有必要和你交流。

二、我國公司軟件界的大數(shù)據(jù)熱

這股風(fēng)也引發(fā)了我國公司軟件界的大數(shù)據(jù)熱。不過我國公司軟件是做軟件賣軟件，軟件是有作品所有權(quán)的，SaaS形式也使軟件商具有的軟件運(yùn)營權(quán)，不像過去客戶是買走了軟件商品轉(zhuǎn)移了商品所有權(quán)?？墒?，這里有個(gè)東西一向沒有改動(dòng)，那即是數(shù)據(jù)所有權(quán)還一向是客戶的，不屬于軟件公司。

當(dāng)然，軟件公司可以洞悉數(shù)據(jù)，但不可以輸出、生意、轉(zhuǎn)讓數(shù)據(jù)。

SaaS形式使SaaS軟件公司敏捷積累起來許多的數(shù)據(jù)，這些數(shù)據(jù)雖然大多都是結(jié)構(gòu)化事務(wù)數(shù)據(jù)，可是由于量大，軟件公司也需求數(shù)據(jù)洞悉，所以SaaS軟件公司也在測(cè)驗(yàn)用互聯(lián)網(wǎng)公司運(yùn)用慣了的開源大數(shù)據(jù)中間件來建立自個(gè)的大數(shù)據(jù)渠道。

SaaS公司的研制人員本來更需求大數(shù)據(jù)技能渠道的訓(xùn)練。不過我國公司軟件公司一項(xiàng)苦逼，所以他們一般都是參與各種技能大會(huì)大拼盤來獲得碎片的入門式的技能知識(shí)。

三、我國公司界的大數(shù)據(jù)熱

我國公司都是一個(gè)個(gè)的單點(diǎn)，當(dāng)然我國公司也分為巨型公司（如那些央企）、大型公司、中型公司、中小公司、小微公司和創(chuàng)業(yè)公司。

具有海量結(jié)構(gòu)化事務(wù)數(shù)據(jù)的，通常都是那些巨型公司（央企），他們現(xiàn)已經(jīng)歷了多代數(shù)據(jù)層級(jí)存儲(chǔ)、大數(shù)據(jù)倉庫、可視化展現(xiàn)、計(jì)算報(bào)表門戶的信息化建造?？墒?，他們也沒有太多的非結(jié)構(gòu)化數(shù)據(jù)的信息化建造和非結(jié)構(gòu)化數(shù)據(jù)剖析。

不過如今發(fā)生了一些改變：

1、有公司開端測(cè)驗(yàn)晉級(jí)自個(gè)的商品為智能商品，可以搜集用戶運(yùn)用進(jìn)程數(shù)據(jù)。為了展開售后服務(wù)引薦、定損、確診、穩(wěn)妥引薦、典當(dāng)、二手轉(zhuǎn)賣、租借。

假如你公司還未將商品晉級(jí)為智能商品，那么的確不需求大數(shù)據(jù)處理。

2、有公司開端測(cè)驗(yàn)工業(yè)互聯(lián)網(wǎng)。給自個(gè)的機(jī)器設(shè)備加上傳感器，給自個(gè)的出產(chǎn)車間加上各種傳感器。這些傳感器搜集的數(shù)據(jù)，也對(duì)錯(cuò)結(jié)構(gòu)化數(shù)據(jù)處理

假如你公司還未展開工業(yè)互聯(lián)網(wǎng)事務(wù)，那么的確不需求大數(shù)據(jù)處理。

3、有公司開端加強(qiáng)巡檢和監(jiān)理、提高質(zhì)量和出產(chǎn)安全。許多需求經(jīng)過手機(jī)、小程序、掃碼、方位定位、拍照來進(jìn)行巡檢現(xiàn)場(chǎng)和監(jiān)理現(xiàn)場(chǎng)的非結(jié)構(gòu)化數(shù)據(jù)記載。

假如你不太注重巡檢和監(jiān)理這兩種手法來提高質(zhì)量和出產(chǎn)安全，那么你的確也許不需求大數(shù)據(jù)處理

4、有公司需求地圖數(shù)據(jù)（如選址、商業(yè)地產(chǎn)招標(biāo)建造、商鋪?zhàn)饨瑁?。如今地圖承載的功用十分多，如交通擁堵狀況，如商業(yè)經(jīng)濟(jì)數(shù)據(jù)（比方周邊的人流量、周邊的賓館商鋪數(shù)量/規(guī)劃）

假如你不觸及上述事務(wù)，你的確也許不需求大數(shù)據(jù)處理

5、有公司想記載線下商超商鋪人流量、用戶做法剖析。技能界的人臉辨認(rèn)、人方位辨認(rèn)、傳感器辨認(rèn)，都可以記載下來人流量、人群特征、用戶做法。

假如你不沒有上述需求，你的確也許不需求大數(shù)據(jù)處理

6、有公司開端進(jìn)行網(wǎng)上事務(wù)（網(wǎng)上電子商務(wù)、網(wǎng)上用戶社區(qū)）展開。所以需求點(diǎn)擊流記載、流量計(jì)算、用戶做法剖析。也需求內(nèi)容爬蟲來爬內(nèi)容充滿自個(gè)的內(nèi)容網(wǎng)站（省得人工去尋覓去COPY轉(zhuǎn)發(fā)，功率質(zhì)量本錢太差）。如今大眾號(hào)、微博這么發(fā)達(dá)，因而許多公司也展開了網(wǎng)上輿情監(jiān)控，這也需求大數(shù)據(jù)技能處理。

假如你不怎么獨(dú)立展開網(wǎng)上用戶社區(qū)，你也不怎么介意網(wǎng)絡(luò)輿情，你的確也不需求大數(shù)據(jù)處理

7、有公司開端進(jìn)行進(jìn)行網(wǎng)上電子商務(wù)的展開，所以需求爬蟲比價(jià)、精準(zhǔn)查找、精準(zhǔn)引薦、最好倉儲(chǔ)倉位、最好物流配送途徑、智能客服機(jī)器人這些功用。

假如你不怎么獨(dú)立展開電子商務(wù)和網(wǎng)上用戶社區(qū)（也許你運(yùn)用了京東、天貓、有贊的渠道），你的確也不需求大數(shù)據(jù)處理

8、有公司展開網(wǎng)上電子商務(wù)和網(wǎng)上用戶社區(qū)的時(shí)分，最憂慮網(wǎng)上進(jìn)犯、網(wǎng)上縫隙、網(wǎng)上被拖庫，所以關(guān)于大數(shù)據(jù)驅(qū)動(dòng)安全類的商品也十分重視，大數(shù)據(jù)驅(qū)動(dòng)安全類的商品可以動(dòng)態(tài)的、智能的進(jìn)行安全危險(xiǎn)辨認(rèn)、報(bào)警、阻擊。

假如你不怎么獨(dú)立展開電子商務(wù)和網(wǎng)上用戶社區(qū)（也許你運(yùn)用了京東、天貓、有贊的渠道），你的確也不需求大數(shù)據(jù)處理

9、有公司在網(wǎng)上進(jìn)行廣告投進(jìn)。怎么進(jìn)行精準(zhǔn)廣告投進(jìn)、怎么監(jiān)測(cè)廣告投進(jìn)作用，這也需求大數(shù)據(jù)工具。

假如你在網(wǎng)上廣告投進(jìn)點(diǎn)并不多、投進(jìn)量并不大，也許的確也不需求大數(shù)據(jù)處理

10、有公司對(duì)網(wǎng)上事務(wù)處理的安全保證請(qǐng)求較高（如電信、銀行），所以關(guān)于長(zhǎng)途人臉辨認(rèn)、證照辨認(rèn)、語音辨認(rèn)、視頻辨認(rèn)、文字辨認(rèn)特別介意。當(dāng)然，在線下安全保證請(qǐng)求較高的范疇，這些辨認(rèn)技能也十分需求

假如你對(duì)安全保證不高，的確不需求大數(shù)據(jù)處理

11、有公司想展開花費(fèi)信貸金融（供應(yīng)鏈金融還有標(biāo)的財(cái)物在主導(dǎo)公司手中所以還不靈敏），可是花費(fèi)信譽(yù)數(shù)據(jù)沒有。所以需求結(jié)合許多花費(fèi)者價(jià)值數(shù)據(jù)來歷：如運(yùn)營商方位及聯(lián)系網(wǎng)絡(luò)、微信聯(lián)系網(wǎng)絡(luò)；地產(chǎn)財(cái)物信息、車輛財(cái)物信息；工商公司開辦信息、稅收信息、交稅社保信息；銀行信貸信息、銀行存款信息、股票證券理財(cái)出資信息。

假如你公司不展開花費(fèi)信貸金融事務(wù)，那么你的確不需求大數(shù)據(jù)處理。

12、有公司服務(wù)器、交流機(jī)路由器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)接入較多較雜亂，所以許多公司為了監(jiān)控這些設(shè)備和網(wǎng)絡(luò)資本的安穩(wěn)運(yùn)轉(zhuǎn)，也會(huì)尋覓大數(shù)據(jù)驅(qū)動(dòng)運(yùn)維的一些商品，保證運(yùn)維危險(xiǎn)提前辨認(rèn)，設(shè)備擴(kuò)容晉級(jí)收購可以提前精準(zhǔn)猜測(cè)

假如你IT設(shè)備不多，那么你的確不需求大數(shù)據(jù)處理