大數(shù)據(jù)(big data,mega data),或稱巨量資料,指的是需要新處理模式才能具有更強的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》 中大數(shù)據(jù)指不用隨機分析法(抽樣調(diào)查)這樣的捷徑,而采用所有數(shù)據(jù)進行分析處理。大數(shù)據(jù)的4V特點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。
對于“大數(shù)據(jù)”(Big data)研究機構Gartner給出了這樣的定義。“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。
大數(shù)據(jù)技術的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息,而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。換言之,如果把大數(shù)據(jù)比作一種產(chǎn)業(yè),那么這種產(chǎn)業(yè)實現(xiàn)盈利的關鍵,在于提高對數(shù)據(jù)的“加工能力”,通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。
從技術上看,大數(shù)據(jù)與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計算機進行處理,必須采用分布式架構。它的特色在于對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘,但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術。
隨著云時代的來臨,大數(shù)據(jù)(Big data)也吸引了越來越多的關注?!吨婆_》的分析師團隊認為,大數(shù)據(jù)(Big data)通常用來形容一個公司創(chuàng)造的大量非結構化數(shù)據(jù)和半結構化數(shù)據(jù),這些數(shù)據(jù)在下載到關系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起,因為實時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。
大數(shù)據(jù)需要特殊的技術,以有效地處理大量的容忍經(jīng)過時間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術,包括大規(guī)模并行處理(MPP)數(shù)據(jù)庫、數(shù)據(jù)挖掘電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統(tǒng)。
大數(shù)據(jù)-維基百科
大數(shù)據(jù)(英語:Big data或Megadata),或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料,指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工,在合理時間內(nèi)達到截取、管理、處理、并整理成為人類所能解讀的信息[3][4]。在總數(shù)據(jù)量相同的情況下,與個別分析獨立的小型數(shù)據(jù)集(data set)相比,將各個小型數(shù)據(jù)集合并后進行分析可得出許多額外的信息和數(shù)據(jù)關系性,可用來察覺商業(yè)趨勢、判定研究質(zhì)量、避免疾病擴散、打擊犯罪或測定實時交通路況等;這樣的用途正是大型數(shù)據(jù)集盛行的原因。
截至2012年,技術上可在合理時間內(nèi)分析處理的數(shù)據(jù)集大小單位為艾字節(jié)(exabytes)。在許多領域,由于數(shù)據(jù)集過度龐大,科學家經(jīng)常在分析處理上遭遇限制和阻礙;這些領域包括氣象學、基因組學[9]、神經(jīng)網(wǎng)絡體學、復雜的物理模擬,以及生物和環(huán)境研究。這樣的限制也對網(wǎng)絡搜索、金融與經(jīng)濟信息學造成影響。數(shù)據(jù)集大小增長的部分原因來自于信息持續(xù)從各種來源被廣泛收集,這些來源包括搭載感測設備的移動設備、高空感測科技(遙感)、軟件記錄、相機、麥克風、無線射頻辨識(RFID)和無線感測網(wǎng)絡。自1980年代起,現(xiàn)代科技可存儲數(shù)據(jù)的容量每40個月即增加一倍;截至2012年,全世界每天產(chǎn)生2.5艾字節(jié)(2.5×1018)的數(shù)據(jù)。
大數(shù)據(jù)幾乎無法使用大多數(shù)的數(shù)據(jù)庫管理系統(tǒng)處理,而必須使用“在數(shù)十、數(shù)百甚至數(shù)千臺服務器上同時平行運行的軟件”。大數(shù)據(jù)的定義取決于持有數(shù)據(jù)組的機構之能力,以及其平常用來處理分析數(shù)據(jù)的軟件之能力?!皩δ承┙M織來說,第一次面對數(shù)百GB的數(shù)據(jù)集可能讓他們需要重新思考數(shù)據(jù)管理的選項。對于其他組織來說,數(shù)據(jù)集可能需要達到數(shù)十或數(shù)百兆字節(jié)才會對他們造成困擾?!?
隨著大數(shù)據(jù)被越來越多的提及,有些人驚呼大數(shù)據(jù)時代已經(jīng)到來了,2012年《紐約時報》的一篇專欄中寫到,“大數(shù)據(jù)”時代已經(jīng)降臨,在商業(yè)、經(jīng)濟及其他領域中,決策將日益基于數(shù)據(jù)和分析而作出,而并非基于經(jīng)驗和直覺。但是并不是所有人都對big data感興趣,有些人甚至認為這是商學院或咨詢公司用來嘩眾取寵的buzzword,看起來很新穎,但只是把傳統(tǒng)重新包裝,之前在學術研究或者政策決策中也有海量數(shù)據(jù)的支撐,大數(shù)據(jù)并不是一件新興事物。
大數(shù)據(jù)時代的來臨帶來無數(shù)的機遇,但是與此同時個人或機構的隱私權也極有可能受到?jīng)_擊,大數(shù)據(jù)包含了各種個人信息數(shù)據(jù),現(xiàn)有的隱私保護法律或政策無力解決這些新出現(xiàn)的問題。有人提出,大數(shù)據(jù)時代,個人是否擁有“被遺忘權”,被遺忘權即是否有權利要求數(shù)據(jù)商不保留自己的某些信息,大數(shù)據(jù)時代信息為某些互聯(lián)網(wǎng)巨頭所控制,但是數(shù)據(jù)商收集任何數(shù)據(jù)未必都獲得用戶的許可,其對數(shù)據(jù)的控制權不具有合法性。2014年5月13日歐盟法院就“被遺忘權”(right to be forgotten)一案作出裁定,判決Google應根據(jù)用戶請求刪除不完整的、無關緊要的、不相關的數(shù)據(jù)以保證數(shù)據(jù)不出現(xiàn)在搜索結果中。這說明在大數(shù)據(jù)時代,加強對用戶個人權利的尊重才是時勢所趨的潮流。
大數(shù)據(jù)的應用
大數(shù)據(jù)應用在生活中可以幫助我們獲取到有用的價值。
隨著大數(shù)據(jù)的應用越來越廣泛,應用的行業(yè)也越來越低,我們每日都可以看到大數(shù)據(jù)的一些新穎的應用,從而幫助人們從中獲取到真正有用的價值。許多組織或者個人都會受到大數(shù)據(jù)的剖析影響,但是大數(shù)據(jù)是怎樣幫助人們挖掘出有價值的信息呢?下面就讓我們一起來看看九個價值極度高的大數(shù)據(jù)的應用,這些都是大數(shù)據(jù)在剖析應用上的關鍵領域:
1.理解客戶、滿足客戶服務需求
大數(shù)據(jù)的應用現(xiàn)在在這領域是最廣為人知的。重點是怎樣應用大數(shù)據(jù)更好的了解客戶以及他們的喜好和行為。企業(yè)極度喜歡搜集社交方面的數(shù)據(jù)、瀏覽器的日志、剖析出文本和傳感器的數(shù)據(jù),為了更加全面的了解客戶。在通常情況下,創(chuàng)建出數(shù)據(jù)模型進行預測。好比美國的著名零售商Target就是通過大數(shù)據(jù)的剖析,獲得有價值的信息,精準得預測到客戶在什么時間想要小孩。另外,通過大數(shù)據(jù)的應用,電信公司可以更好預測出流失的客戶,沃爾瑪則更加精準的預測哪個產(chǎn)品會大賣,汽車保險行業(yè)會了解客戶的需求和駕駛水平,政府也能了解到選民的偏好。
2.業(yè)務流程優(yōu)化
大數(shù)據(jù)也更多的幫助業(yè)務流程的優(yōu)化??梢酝ㄟ^利用社交媒體數(shù)據(jù)、網(wǎng)絡搜索以及天氣預告挖掘出有價值的數(shù)據(jù),其中大數(shù)據(jù)的應用最廣泛的就是供應鏈以及配送路線的優(yōu)化。在這2個方面,地理定位和無線電頻率的識別追蹤貨物和送貨車,利用實時交通路線數(shù)據(jù)制訂更加優(yōu)化的路線。人力資源業(yè)務也通過大數(shù)據(jù)的剖析來進行改良,這其中就包括了人才招聘的優(yōu)化。
3.大數(shù)據(jù)正在改善我們的生活
大數(shù)據(jù)不但單只是應用于企業(yè)和政府,同樣也適用我們生活當中的每個人。我們可以利用穿著的裝備(如智能手表或者智能手環(huán))生成最新的數(shù)據(jù),這讓我們可以憑據(jù)我們熱量的消耗以及睡眠模式來進行追蹤。而且還利用利用大數(shù)據(jù)剖析來尋找屬于我們的愛情,大多數(shù)時間交友網(wǎng)站就是大數(shù)據(jù)應用工具來幫助需要的人匹配合適的對象。
4.提高醫(yī)療和研發(fā)
大數(shù)據(jù)剖析應用的計算能力可以讓我們能夠在幾分鐘內(nèi)就可以解碼整個DNA。而且讓我們可以制訂出最新的治療方案。同時可以更好的去理解和預測疾病。就好像人們戴上智能手表等可以形成的數(shù)據(jù)一樣,大數(shù)據(jù)同樣可以幫助病人對于病情進行更好的治療。大數(shù)據(jù)技術現(xiàn)在已經(jīng)在醫(yī)院應用監(jiān)視早產(chǎn)嬰兒和患病嬰兒的情況,通過記錄和剖析嬰兒的心跳,醫(yī)生針對嬰兒的身體可能會出現(xiàn)不適癥狀做出預測。這樣可以幫助醫(yī)生更好的救助嬰兒。
原文鏈接:大數(shù)據(jù)是什么意思
再推薦一點內(nèi)容
近些年來,大數(shù)據(jù)越來越火熱,但是有不少網(wǎng)友對大數(shù)據(jù)基本的概念還有些模糊。從字面上來看,大數(shù)據(jù)就是比較大的數(shù)據(jù)。那么這個“大”到底是指形狀大,還是數(shù)量大呢?同時,這個大數(shù)據(jù)是怎么來的,它到底又有什么樣的作用呢?下面我們將一一解答。
大數(shù)據(jù)產(chǎn)生的背景
進入2012年,大數(shù)據(jù)(big data)一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù),并命名與之相關的技術發(fā)展與創(chuàng)新。它已經(jīng)上過《紐約時報》《華爾街日報》的專欄封面,進入美國白宮官網(wǎng)的新聞,現(xiàn)身在國內(nèi)一些互聯(lián)網(wǎng)主題的講座沙龍中,甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。
最早提出“大數(shù)據(jù)”時代到來的是全球知名咨詢公司麥肯錫,麥肯錫稱:“數(shù)據(jù),已經(jīng)滲透到當今每一個行業(yè)和業(yè)務職能領域,成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用,預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?!?“大數(shù)據(jù)”在物理學、生物學、環(huán)境生態(tài)學等領域以及軍事、金融、通訊等行業(yè)存在已有時日,卻因為近年來互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關注。
大數(shù)據(jù)到底是什么
對于“大數(shù)據(jù)”(Big data)研究機構Gartner給出了這樣的定義?!按髷?shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。維基百科的定義,大數(shù)據(jù)是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合。
簡單來說,大數(shù)據(jù)具有4V的特點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。
根據(jù)國際數(shù)據(jù)公司(IDC)的《數(shù)據(jù)宇宙》報告顯示:2008年全球數(shù)量為0.5ZB,2010年為1.2ZB,人類正式進入ZB時代。更為驚人的是,2020年以前全球數(shù)據(jù)量仍將保持每年40%多的高速增長,大約每兩年就翻一倍,這與IT界的摩爾定律極為相似,姑且稱之為“大數(shù)據(jù)爆炸定律”。
上面內(nèi)容中提到了“ZB”的概念,那么它具體是指什么意思呢?
我們平常所熟知的數(shù)據(jù)的大小是“G”、"M"等,比如說,一部高清電影大約1個G左右,一首歌曲的大小為幾M。
1G=1024M
1M=1024KB
1B=8bit
bit中文名稱是位,音譯“比特”,是用以描述電腦數(shù)據(jù)量的最小單位。
bit 來自binary digit (二進制數(shù)字),由數(shù)學家John Wilder Tukey提出(可能是1946年提出,但有資料稱1943年就提出了)。這個術語第一次被正式使用,是在香農(nóng)著名的論文《通信的數(shù)學理論》(A Mathematical Theory of Communication)第1頁中。[1]
二進制數(shù)系統(tǒng)中,每個0或1就是一個位(bit)。
上面KB中的“B”就是字節(jié)的意思,英文為“byte”.我們電腦文檔中的漢字占兩個字節(jié),英文字母占一個字節(jié)。路遙先生的《平凡的世界》這本書約有一百萬字,換算成字節(jié)就是兩百萬個字節(jié),為2000000B。
而具體的換算方法為
1KB=1024B;1MB=1024KB=1024×1024B。其中1024=210。
1B(byte,字節(jié))= 8 bit(見下文);
1KB(Kibibyte,千字節(jié))=1024B= 2^10 B;
1MB(Mebibyte,兆字節(jié),百萬字節(jié),簡稱“兆”)=1024KB= 2^20 B;
1GB(Gigabyte,吉字節(jié),十億字節(jié),又稱“千兆”)=1024MB= 2^30 B;
1TB(Terabyte,萬億字節(jié),太字節(jié))=1024GB= 2^40 B;
1PB(Petabyte,千萬億字節(jié),拍字節(jié))=1024TB= 2^50 B;
1EB(Exabyte,百億億字節(jié),艾字節(jié))=1024PB= 2^60 B;
1ZB(Zettabyte,十萬億億字節(jié),澤字節(jié))= 1024EB= 2^70 B;
1YB(Yottabyte,一億億億字節(jié),堯字節(jié))= 1024ZB= 2^80 B;
1BB(Brontobyte,一千億億億字節(jié))= 1024YB= 2^90 B;
1NB(NonaByte,一百萬億億億字節(jié)) = 1024 BB = 2^100 B;
1DB(DoggaByte,十億億億億字節(jié)) = 1024 NB = 2^110 B;
從上面可知, 1ZB(Zettabyte,十萬億億字節(jié),澤字節(jié))= 1024EB= 2^70 B;,這個數(shù)量級實在是恐怖,可想而知大數(shù)據(jù)到底有多大。
大數(shù)據(jù)有什么用呢?
大數(shù)據(jù)的應用其實早已滲透到人們生活中的方方面面:亞馬遜運用大數(shù)據(jù)為客戶推薦商品信息,阿里用大數(shù)據(jù)成立了小微金融服務集團,而谷歌更是計劃用大數(shù)據(jù)接管世界??當下,很多行業(yè)都開始增加對大數(shù)據(jù)的需求。大數(shù)據(jù)時代不僅處理著海量的數(shù)據(jù),同時也加工、傳播、分享它們。不知不覺中,數(shù)據(jù)可視化已經(jīng)遍布我們生活的每一個角落,畢竟普通用戶往往更關心結果的展示。伴隨去年底百度地圖采用LBS定位春運的可視化大數(shù)據(jù),就引起了學界對新聞創(chuàng)新和大數(shù)據(jù)可視化的熱議。
就拿我們手中的智能手機來說吧,它既是一款數(shù)據(jù)采集工具,同時也是一個多媒體的數(shù)據(jù)可視化展示平臺;現(xiàn)在的新聞播報也越來越多的用到數(shù)據(jù)圖表,動態(tài)演示且立體化的呈現(xiàn)報道內(nèi)容;影視劇和電子游戲頻繁出現(xiàn)的數(shù)據(jù)可視化元素,無疑讓作品的科技與未來感更加豐滿;教育與科普方面則是數(shù)據(jù)可視化更大的應用領域,人們開始對單調(diào)保守的講述方式失去興趣,期待更加直觀、高效的信息呈現(xiàn)形式,數(shù)據(jù)可視化正好彌補了這項需求。在智能手機、平板電腦和車載電腦等平臺日漸普及的當下,新的交互手段將會成為數(shù)據(jù)可視化的趨勢。
數(shù)據(jù)可視化起源于1960年計算機圖形學,那時候人們使用計算機創(chuàng)建圖形圖表,可視化提取出來的數(shù)據(jù),可以將數(shù)據(jù)的各種屬性和變量呈現(xiàn)出來。隨著計算機硬件的發(fā)展,人們創(chuàng)建更復雜規(guī)模更大的數(shù)字模型,于是乎發(fā)展了數(shù)據(jù)采集設備和數(shù)據(jù)保存設備,而此時也需要更高級的計算機圖形學技術及方法來創(chuàng)建這些規(guī)模龐大的數(shù)據(jù)集。隨著數(shù)據(jù)可視化平臺的拓展,應用領域的增加,表現(xiàn)形式的不斷變化,以及增加了諸如實時動態(tài)效果、用戶交互使用等,數(shù)據(jù)可視化像所有新興概念一樣邊界不斷擴大。