從分析的目的來看,大數(shù)據(jù)分析一般是對(duì)歷史大數(shù)據(jù)進(jìn)行統(tǒng)計(jì)學(xué)上的一些分析,大數(shù)據(jù)挖掘更側(cè)重于機(jī)器對(duì)未來的預(yù)測(cè),一般應(yīng)用于分類、聚類、推薦、關(guān)聯(lián)規(guī)則等。
從分析的過程來看,大數(shù)據(jù)分析更側(cè)重于統(tǒng)計(jì)學(xué)上面的一些方法,經(jīng)過人的推理演譯得到結(jié)論;大數(shù)據(jù)挖掘更側(cè)重由機(jī)器進(jìn)行自學(xué)習(xí),直接到得到結(jié)論。
從分析的結(jié)果看,大數(shù)據(jù)分析的結(jié)果是準(zhǔn)確的統(tǒng)計(jì)量,而大數(shù)據(jù)挖掘得到的一般是模糊的結(jié)果。
“大數(shù)據(jù)分析”的重點(diǎn)是觀察大數(shù)據(jù),“大數(shù)據(jù)挖掘”的重點(diǎn)是從大數(shù)據(jù)中發(fā)現(xiàn)“知識(shí)規(guī)則”KDD(Knowledge Discover in Database)。
“大數(shù)據(jù)分析、大數(shù)據(jù)統(tǒng)計(jì)”得出的結(jié)論是人的智力活動(dòng)結(jié)果,“大數(shù)據(jù)挖掘”得出的結(jié)論是機(jī)器從學(xué)習(xí)集(或訓(xùn)練集、樣本集)發(fā)現(xiàn)的知識(shí)規(guī)則。
“大數(shù)據(jù)分析”需要人工建模,“大數(shù)據(jù)挖掘”自動(dòng)完成數(shù)學(xué)建模。
大數(shù)據(jù)挖掘與大數(shù)據(jù)分析的主要區(qū)別是什么
1、計(jì)算機(jī)編程能力的要求
作為大數(shù)據(jù)分析很多情況下需要用到成型的分析工具,比如EXCEL、SPSS,或者SAS、R。一個(gè)完全不懂編程,不會(huì)敲代碼的人完全可以是一名能好的大數(shù)據(jù)分析師,因?yàn)橐话闱闆r下OFFICE包含的幾個(gè)工具已經(jīng)可以滿足大多數(shù)大數(shù)據(jù)分析的要求了。很多的大數(shù)據(jù)分析人員做的工作都是從原始大數(shù)據(jù)到各種拆分匯總,再經(jīng)過分析,最后形成完整的分析報(bào)告。當(dāng)然原始大數(shù)據(jù)可以是別人提供,也可以自己提?。ㄗ鳛橐幻细竦拇髷?shù)據(jù)分析師,懂點(diǎn)SQL知識(shí)是很有好處的)。
而大數(shù)據(jù)挖掘則需要有編程基礎(chǔ)。為什么這樣說呢?舉兩個(gè)理由:第一個(gè),目前的大數(shù)據(jù)挖掘方面及相關(guān)的研究生方面絕大多數(shù)是隸屬于計(jì)算機(jī)系;第二點(diǎn),在招聘崗位上,國(guó)內(nèi)比較大的公司掛的崗位名稱大多數(shù)為“大數(shù)據(jù)挖掘工程師”。從這兩點(diǎn)就可以明確看出大數(shù)據(jù)挖掘跟計(jì)算機(jī)跟編程有很大的聯(lián)系。
2、在對(duì)行業(yè)的理解的能力
要想成為一名優(yōu)秀的大數(shù)據(jù)分析師,對(duì)于所從事的行業(yè)有比較深的了解和理解是必須要具備的,并且能夠?qū)⒋髷?shù)據(jù)與自身的業(yè)務(wù)緊密結(jié)合起來。簡(jiǎn)單舉個(gè)例子來說,給你一份業(yè)務(wù)經(jīng)營(yíng)報(bào)表,你就能在腦海中勾畫出目前經(jīng)營(yíng)狀況圖,能夠看出哪里出現(xiàn)了問題。但是,從事大數(shù)據(jù)挖掘不一定要求對(duì)行業(yè)有這么高的要求。
3、專業(yè)知識(shí)面的要求
大數(shù)據(jù)分析師出對(duì)行業(yè)要了解外,還要懂得一些統(tǒng)計(jì)學(xué)、營(yíng)銷、經(jīng)濟(jì)、心理學(xué)、社會(huì)學(xué)等方面的知識(shí),當(dāng)然能了解大數(shù)據(jù)挖掘的一些知識(shí)會(huì)更好。大數(shù)據(jù)挖掘工程師則要求要比較熟悉大數(shù)據(jù)庫(kù)技術(shù)、熟悉大數(shù)據(jù)挖掘的各種算法,能夠根據(jù)業(yè)務(wù)需求建立大數(shù)據(jù)模型并將模型應(yīng)用于實(shí)際,甚至需要對(duì)已有的模型和算法進(jìn)行優(yōu)化或者開發(fā)新的算法模型。想要成為優(yōu)秀的大數(shù)據(jù)挖掘工程師,良好的數(shù)學(xué)、統(tǒng)計(jì)學(xué)、大數(shù)據(jù)庫(kù)、編程能力是必不可少的。
總之一句話來概括的話,大數(shù)據(jù)分析師更關(guān)注于業(yè)務(wù)層面,大數(shù)據(jù)挖掘工程師更關(guān)注于技術(shù)層面。
大數(shù)據(jù)分析師與大數(shù)據(jù)挖掘工程師的相似點(diǎn):
1、都跟大數(shù)據(jù)打交道。
他們玩的都是大數(shù)據(jù),如果沒有大數(shù)據(jù)或者搜集不到大數(shù)據(jù),他們都要丟飯碗。
2、知識(shí)技能有很多交叉點(diǎn)。
他們都需要懂統(tǒng)計(jì)學(xué),懂大數(shù)據(jù)分析一些常用的方法,對(duì)大數(shù)據(jù)的敏感度比較好。
3、在職業(yè)上他們沒有很明顯的界限。
很多時(shí)候大數(shù)據(jù)分析師也在做挖掘方面的工作,而大數(shù)據(jù)挖掘工程師也會(huì)做大數(shù)據(jù)分析的工作,大數(shù)據(jù)分析也有很多時(shí)候用到大數(shù)據(jù)挖掘的工具和模型,很多大數(shù)據(jù)分析從業(yè)者使用SAS、R就是一個(gè)很好的例子。而在做大數(shù)據(jù)挖掘項(xiàng)目時(shí)同樣需要有人懂業(yè)務(wù)懂大數(shù)據(jù),能夠根據(jù)業(yè)務(wù)需要提出正確的大數(shù)據(jù)挖掘需求和方案能夠提出備選的算法模型,實(shí)際上這樣的人一腳在大數(shù)據(jù)分析上另一只腳已經(jīng)在數(shù)據(jù)挖掘上了。
事實(shí)上沒有必要將大數(shù)據(jù)分析和大數(shù)據(jù)挖掘分的特別清,但是我們需要看到兩者的區(qū)別和聯(lián)系,作為一名大數(shù)據(jù)行業(yè)的從業(yè)者,要根據(jù)自身的特長(zhǎng)和愛好規(guī)劃自己的職業(yè)生涯,以尋求自身價(jià)值的最大化。
大數(shù)據(jù)分析與大數(shù)據(jù)挖掘的區(qū)別
大數(shù)據(jù)分析可以分為廣義的大數(shù)據(jù)分析和狹義的大數(shù)據(jù)分析,廣義的大數(shù)據(jù)分析就包括狹義的大數(shù)據(jù)分析和大數(shù)據(jù)挖掘,我們常說的大數(shù)據(jù)分析就是指狹義的大數(shù)據(jù)分析。
大數(shù)據(jù)分析(狹義):
(1)定義:簡(jiǎn)單來說,大數(shù)據(jù)分析就是對(duì)大數(shù)據(jù)進(jìn)行分析。專業(yè)的說法,大數(shù)據(jù)分析是指根據(jù)分析目的,用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法及工具,對(duì)收集來的大數(shù)據(jù)進(jìn)行處理與分析,提取有價(jià)值的信息,發(fā)揮大數(shù)據(jù)的作用。
(2)作用:它主要實(shí)現(xiàn)三大作用:現(xiàn)狀分析、原因分析、預(yù)測(cè)分析(定量)。大數(shù)據(jù)分析的目標(biāo)明確,先做假設(shè),然后通過大數(shù)據(jù)分析來驗(yàn)證假設(shè)是否正確,從而得到相應(yīng)的結(jié)論。
(3)方法:主要采用對(duì)比分析、分組分析、交叉分析、回歸分析等常用分析方法;
(4)結(jié)果:大數(shù)據(jù)分析一般都是得到一個(gè)指標(biāo)統(tǒng)計(jì)量結(jié)果,如總和、平均值等,這些指標(biāo)大數(shù)據(jù)都需要與業(yè)務(wù)結(jié)合進(jìn)行解讀,才能發(fā)揮出大數(shù)據(jù)的價(jià)值與作用;
大數(shù)據(jù)挖掘:
(1)定義:大數(shù)據(jù)挖掘是指從大量的大數(shù)據(jù)中,通過統(tǒng)計(jì)學(xué)、人工智能、機(jī)器學(xué)習(xí)等方法,挖掘出未知的、且有價(jià)值的信息和知識(shí)的過程。
(2)作用:大數(shù)據(jù)挖掘主要側(cè)重解決四類問題:分類、聚類、關(guān)聯(lián)和預(yù)測(cè)(定量、定性),大數(shù)據(jù)挖掘的重點(diǎn)在尋找未知的模式與規(guī)律;如我們常說的大數(shù)據(jù)挖掘案例:啤酒與尿布、安全套與巧克力等,這就是事先未知的,但又是非常有價(jià)值的信息;
(3)方法:主要采用決策樹、神經(jīng)網(wǎng)絡(luò)、關(guān)聯(lián)規(guī)則、聚類分析等統(tǒng)計(jì)學(xué)、人工智能、機(jī)器學(xué)習(xí)等方法進(jìn)行挖掘;
(4)結(jié)果:輸出模型或規(guī)則,并且可相應(yīng)得到模型得分或標(biāo)簽,模型得分如流失概率值、總和得分、相似度、預(yù)測(cè)值等,標(biāo)簽如高中低價(jià)值用戶、流失與非流失、信用優(yōu)良中差等;
綜合起來,大數(shù)據(jù)分析(狹義)與大數(shù)據(jù)挖掘的本質(zhì)都是一樣的,都是從大數(shù)據(jù)里面發(fā)現(xiàn)關(guān)于業(yè)務(wù)的知識(shí)(有價(jià)值的信息),從而幫助業(yè)務(wù)運(yùn)營(yíng)、改進(jìn)產(chǎn)品以及幫助企業(yè)做更好的決策。所以大數(shù)據(jù)分析(狹義)與大數(shù)據(jù)挖掘構(gòu)成廣義的大數(shù)據(jù)分析。
來源于大數(shù)據(jù)