1.1. 概述
最早提出“大數(shù)據(jù)”時代到來的是全球知名咨詢公司麥肯錫,麥肯錫稱:“數(shù)據(jù),已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域,成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用,預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?!?/span>
隨著互聯(lián)網(wǎng)快速發(fā)展、智能手機以及“可佩帶”計算設(shè)備的出現(xiàn),我們的行為、位置,甚至身體生理數(shù)據(jù)等每一點變化都成為了可被記錄和分析的數(shù)據(jù)。這些新技術(shù)推動著大數(shù)據(jù)時代的來臨,各行各業(yè)每天都在產(chǎn)生數(shù)量巨大的數(shù)據(jù)碎片,數(shù)據(jù)計量單位已從Byte、KB、MB、GB、TB發(fā)展到PB、EB、ZB、YB甚至BB來衡量。
今天的大數(shù)據(jù)分析市場與幾年前的市場截然不同,正是由于海量數(shù)據(jù)的暴增,未來十年,全球各行各業(yè)都將發(fā)生變革、創(chuàng)新和顛覆。
未來十年大數(shù)據(jù)分析的發(fā)展趨勢
公有云優(yōu)于私有云的優(yōu)勢繼續(xù)擴大。公有云正逐步成為客戶群的首選大數(shù)據(jù)分析平臺。這是因為公有云解決方案比內(nèi)部部署堆棧更為成熟,增加了更豐富的功能,且成本日益增加。另外,公有云正在增加其應(yīng)用程度編程接口生態(tài)系統(tǒng),并加快開發(fā)管理工具的速度。
1.2. 大數(shù)據(jù)分析
當(dāng)數(shù)據(jù)分析遇到大數(shù)據(jù)時代,于是就產(chǎn)生了完美的契合:大數(shù)據(jù)分析。你可以理解大數(shù)據(jù)分析是指對規(guī)模巨大的數(shù)據(jù)進行分析。大數(shù)據(jù)被稱為當(dāng)今最有潛質(zhì)的IT詞匯,接踵而來的數(shù)據(jù)挖掘、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)存儲等等圍繞大數(shù)據(jù)的商業(yè)價值的利用逐漸成為行業(yè)人士爭相追捧的利潤焦點。隨著大數(shù)據(jù)時代的來臨,大數(shù)據(jù)分析也應(yīng)運而生。
加速融合以企業(yè)實現(xiàn)商業(yè)價值。用戶開始加快將孤立的大數(shù)據(jù)資產(chǎn)融合到公有云的速度。而公有云廠商也在優(yōu)化困擾私有大數(shù)據(jù)架構(gòu)的跨業(yè)務(wù)孤島。同樣重要的是,云數(shù)據(jù)和本地數(shù)據(jù)解決方案正融合到集成產(chǎn)品中,旨在降低復(fù)雜性并加快實現(xiàn)業(yè)務(wù)價值。更多的解決方案提供商正在提供標準化的API,以簡化訪問,加速開發(fā),并在整個大數(shù)據(jù)解決方案堆棧中實現(xiàn)更全面的管理。
大數(shù)據(jù)初創(chuàng)公司將越來越復(fù)雜的AI注意應(yīng)用程序推向市場。過去幾年來,許多新的數(shù)據(jù)庫,流處理和數(shù)據(jù)初創(chuàng)公司加入到市場中。不少公司也開始通過AI的解決方案加入到市場競爭中。其中大部分創(chuàng)新方案都是為公有云或混合云部署而設(shè)計的。
新興解決方案逐漸替代傳統(tǒng)方法。越來越多的大數(shù)據(jù)平臺供應(yīng)商將涌現(xiàn)出融合物聯(lián)網(wǎng)、區(qū)塊鏈和流計算的下一代方法。這些大數(shù)據(jù)平臺主要針對機器學(xué)習(xí)、深度學(xué)習(xí)和人工智能管理端到端devops管理進行優(yōu)化。此外,不少大數(shù)據(jù)分析平臺正在為AI微服務(wù)架構(gòu)設(shè)計邊緣設(shè)備。
打包的大數(shù)據(jù)分析應(yīng)用程序正變得越來越廣泛。未來十年,更多服務(wù)將自動調(diào)整其嵌入式機器學(xué)習(xí)、深度學(xué)習(xí)和AI模型,以持續(xù)提供最佳業(yè)務(wù)成果。這些服務(wù)將納入預(yù)先訓(xùn)練的模式,客戶可以調(diào)整和擴展到自己的特定需求。
1.3、數(shù)據(jù)分析部署的障礙與難點
成本高昂且效率低下。對于許多IT專業(yè)人員來說,大數(shù)據(jù)分析管理和治理流理仍然過于孤立,成本高昂且效率低下。供應(yīng)商需要構(gòu)建預(yù)先打包的流程,幫助大型專業(yè)人員團隊更有效、快速和準備的管理數(shù)據(jù)及分析。
缺乏自動化功能。大數(shù)據(jù)分析應(yīng)用程序的開發(fā)和運營仍然過于耗時且需要手動。供應(yīng)商需要加強其的自動化功能,以確保提高用戶技術(shù)人員的生產(chǎn)力,同時確保即使是低技能人員也能處理復(fù)雜業(yè)務(wù)。
大數(shù)據(jù)時代已經(jīng)來臨,并逐漸滲透到各個行業(yè)領(lǐng)域之中。對于企業(yè)IT來說,開始將更多的大數(shù)據(jù)分析開發(fā)工作遷移到公有云環(huán)境中,這也將加速AWS,微軟,谷歌等云廠商提供的快速成熟且低成本產(chǎn)品的能力。
1.4、大數(shù)據(jù)時代的趨勢
三大趨勢
1、真實的機器學(xué)習(xí)
我們堅信,機器學(xué)習(xí)、人工智能未來很快會接管世界,至少是人類的大部分工作。然而現(xiàn)實正一步步向我們推進,我們發(fā)現(xiàn)機器學(xué)習(xí)能最有效地成為人類的助手而不是替代者。人類工作和機器學(xué)習(xí)結(jié)合才是最好的結(jié)果。
2、從數(shù)據(jù)采集者到數(shù)據(jù)生產(chǎn)者
過去,企業(yè)一直專注于挖掘自己擁有的數(shù)據(jù),并發(fā)現(xiàn)和收集其他組織擁有的數(shù)據(jù)。但現(xiàn)在,企業(yè)需要一些戰(zhàn)略轉(zhuǎn)移,有意識的創(chuàng)造所需的數(shù)據(jù),用于銷售新產(chǎn)品和服務(wù),滿足業(yè)務(wù)目標的需要。例如一家體檢公司收集病人生活方式和保險公司投保條件信息,并以此為基礎(chǔ)提供個性化的客戶服務(wù)和指導(dǎo)。這樣的公司會走得更遠,針對客戶的需要,有針對性的收集和提供數(shù)據(jù)。
3、優(yōu)化客戶體驗的新方法
在大數(shù)據(jù)領(lǐng)域最后的幾個攻堅戰(zhàn)之一就是提升用戶的體用體驗了。以現(xiàn)在的趨勢看來,使用自然語言處理分析現(xiàn)有數(shù)據(jù)是個不錯的辦法,例如在社交媒體上的進行情感分析,會比較容易抓取到用戶的好惡,從而進行產(chǎn)品的改進。