隨著科技的高速發(fā)展,數(shù)據(jù)在人們生活和決策中所占的比重越來越大,大數(shù)據(jù)的熱浪已然覆蓋了整個時代。數(shù)據(jù)顯示,到2020年,中國大數(shù)據(jù)產(chǎn)業(yè)規(guī)?;蜻_13626億元。大數(shù)據(jù)一直在積極賦能眾多產(chǎn)業(yè),包括金融、醫(yī)療、農(nóng)業(yè)、教育等,如何在各個行業(yè)中深度挖掘大數(shù)據(jù)價值,讓決策者的選擇有據(jù)可依,這就需要專業(yè)的大數(shù)據(jù)解決方案來實現(xiàn)。
一 有利的大數(shù)據(jù)支持政策
作為互聯(lián)網(wǎng)發(fā)展的產(chǎn)物,大數(shù)據(jù)的發(fā)展應用與互聯(lián)網(wǎng)息息相關(guān),但一個產(chǎn)業(yè)的發(fā)展往往離不開政府的扶持,完善的政策是當前大數(shù)據(jù)產(chǎn)業(yè)發(fā)展和應用的重要保障。
國家的政策支持:近年來,國家對大數(shù)據(jù)制定一系列戰(zhàn)略政策,并對其提供諸多有利的政策支持。早在2012年就明確提出過支持數(shù)據(jù)行業(yè)的發(fā)展。2015年9月,經(jīng)李克強總理簽批,國務院印發(fā)了《促進大數(shù)據(jù)發(fā)展行動綱要》,系統(tǒng)部署了我國大數(shù)據(jù)發(fā)展工作,至此,大數(shù)據(jù)成為國家級的發(fā)展戰(zhàn)略。
各省及地區(qū)的政策支持:全國共有二十多個地區(qū)出臺大數(shù)據(jù)相關(guān)政策,很多地區(qū)都設立專門的大數(shù)據(jù)管理機構(gòu),比如上海的“大數(shù)據(jù)局”和貴州的“云上貴州”,同時長江三角洲以及京津冀地都在大數(shù)據(jù)領域具有較好的發(fā)展。
在各個細分領域的政策支持:除了提供政策支持和構(gòu)建大數(shù)據(jù)機構(gòu),國家同時非常重視重點行業(yè)的大數(shù)據(jù)應用。2018年,大數(shù)據(jù)產(chǎn)業(yè)相關(guān)的政策內(nèi)容已經(jīng)從全面、總體的指導規(guī)劃逐漸向各大行業(yè)、細分領域延伸,將大數(shù)據(jù)作為推動產(chǎn)業(yè)和經(jīng)濟發(fā)展的利器。
比如:在制造業(yè)落實工業(yè)互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)在傳統(tǒng)制造企業(yè)的全流程的綜合集成應用,提高制造業(yè)企業(yè)的發(fā)展能力,深化工業(yè)云、大數(shù)據(jù)等技術(shù)的集成應用。對電子商務、“互聯(lián)網(wǎng)+政務服務”等也提出要推動大數(shù)據(jù)在電子商務、車務創(chuàng)新方面的應用。
目前大數(shù)據(jù)已經(jīng)在政務、金融、交通、保險、通訊、媒體娛樂業(yè)、教育、制造業(yè)、自然資源開采、零售和批發(fā)貿(mào)易以及能源和公用事業(yè)等行業(yè)均有應用。
二 大數(shù)據(jù)為理性決策提供更充分依據(jù)
無論是在政務領域還是商業(yè)領域,依賴于大數(shù)據(jù)技術(shù)的數(shù)據(jù)分析總是為行業(yè)提供決策支持。由于大數(shù)據(jù)是從量變到質(zhì)變的過程,加之數(shù)據(jù)被廣泛挖掘,決策依據(jù)的信息完整性越來越高,依據(jù)信息的理性決策要高于以往拍腦袋的盲目決策。
宏觀層面中,大數(shù)據(jù)使得經(jīng)濟決策部門可以更加敏銳的把握經(jīng)濟走向,并制定實施科學的經(jīng)濟決策;在微觀層面中,大數(shù)據(jù)可以提高企業(yè)經(jīng)營決策水平和效率,推動創(chuàng)新,給企業(yè)以及所處的行業(yè)領域帶來價值。
例如:某消費領域的鞋子廠商,以搜索采集等技術(shù),挖掘用戶對鞋子舒適度、美觀度、以及價格等維度的關(guān)注度數(shù)據(jù),再通過精準的大數(shù)據(jù)分析算出消費者最為關(guān)注的領域,進而根據(jù)消費者的需求對產(chǎn)品進行改良,最終在銷售終端成為消費者青睞的品牌。
三 領先的大數(shù)據(jù)處理技術(shù)以及完善的基礎平臺建設
想要多方位推進大數(shù)據(jù)的發(fā)展和應用,且能夠落地實施從而帶來效益最大化,就需要加強數(shù)據(jù)平臺的建設,這是大數(shù)據(jù)發(fā)展和應用的基礎。在大數(shù)據(jù)應用的整個過程中,hugedata 不僅有著領先的大數(shù)據(jù)處理技術(shù),同時還具有非常完善的大數(shù)據(jù)基礎平臺建設能力,目前已經(jīng)有成功案例應用于政務、醫(yī)療、交通等行業(yè)。
在大數(shù)據(jù)處理技術(shù)中,數(shù)據(jù)處理的每個階段在業(yè)界均具領先水平:
數(shù)據(jù)采集
? 數(shù)據(jù)共享交換匯聚? 多源異構(gòu)數(shù)據(jù)轉(zhuǎn)換? 分布式互聯(lián)網(wǎng)數(shù)據(jù)采集? 結(jié)構(gòu)化數(shù)據(jù)抽取? 字段式精準采集數(shù)據(jù)存儲
? 支持絕大部分關(guān)系型數(shù)據(jù)庫? 支持內(nèi)存/閃存/硬盤混合存儲? 支持結(jié)構(gòu)化/半結(jié)構(gòu)化/非結(jié)構(gòu)化等? 多種類型數(shù)據(jù)? 數(shù)據(jù)容量支持PB級以上熱擴容? 高并發(fā)低延時,線性擴容計算速度數(shù)據(jù)清洗
? 數(shù)據(jù)脫敏,文本挖掘? 信息抽取、自動分類? 智能過濾、自動聚類? 主題檢索、統(tǒng)計分析數(shù)據(jù)分析
? 支持批處理統(tǒng)計分析? 交互式SQL分析、在線數(shù)據(jù)檢索? R語言數(shù)據(jù)挖掘、支持機器學習? 實時流處理、全文檢索和圖計算? 豐富的基礎模型算法庫Hugedata建有完善的大數(shù)據(jù)基礎平臺:
大數(shù)據(jù)共享交換平臺
大數(shù)據(jù)共享交換平臺提供各子系統(tǒng)接入的接口,實現(xiàn)數(shù)據(jù)交換平臺和各信息系統(tǒng)的有機結(jié)合,以統(tǒng)一的接口規(guī)范實現(xiàn)數(shù)據(jù)自動提取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)發(fā)送、數(shù)據(jù)校驗、數(shù)據(jù)審核、數(shù)據(jù)脫敏等,同時支持數(shù)據(jù)同步、歷史數(shù)據(jù)遷移等。實現(xiàn)“統(tǒng)一標準、統(tǒng)一交換”的構(gòu)想。它是一個為不同數(shù)據(jù)庫、不同數(shù)據(jù)格式之間,進行數(shù)據(jù)交換而提供服務的平臺。具有數(shù)據(jù)安全、異構(gòu)整合、靈活、易維護、系統(tǒng)安全和高性能等特點。
互聯(lián)網(wǎng)數(shù)據(jù)采集平臺
互聯(lián)網(wǎng)數(shù)據(jù)采集平臺是利用互聯(lián)網(wǎng)搜索引擎技術(shù)實現(xiàn)有針對性、行業(yè)性、精準性的數(shù)據(jù)抓取,并按照一定規(guī)則和篩選標準進行數(shù)據(jù)歸類,并形成數(shù)據(jù)庫文件的一個過程。利用垂直搜索引擎技術(shù)的網(wǎng)絡蜘蛛、分詞系統(tǒng)、任務與索引系統(tǒng)等技術(shù)進行綜合運用而完成;隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和網(wǎng)絡海量信息的增長,對信息的獲取與分揀成為一種越來越大的需求。
大數(shù)據(jù)管理分析平臺
自研國內(nèi)領先的hugedata系列大數(shù)據(jù)存儲、管理和分析平臺,擁有自主知識產(chǎn)權(quán)。
語言分析文字檢測識別平臺
語義分析文字檢測識別平臺是基于并行計算系統(tǒng)和分布式爬蟲平臺,結(jié)合獨特的語義分析技術(shù),一站式滿足用戶NLP。轉(zhuǎn)碼、抽取、全網(wǎng)數(shù)據(jù)抓取等中文語義分析需求的開放平臺,用戶能夠基于平臺對外提供的API實現(xiàn)搜索、推薦、輿情、挖掘等語義分析應用,也能夠通過與我們深入合作定制產(chǎn)品特色的語義分析解決方案。
四 大數(shù)據(jù)解決方案 解決多行業(yè)痛點
在強大的基礎設施和技術(shù)能力的基礎上,諸多行業(yè)內(nèi)已經(jīng)形成具有自身優(yōu)勢的解決方案:
? 在社會治理解決方案中,將基礎建設標準化、社區(qū)矛盾聯(lián)動化解,社區(qū)進行綜合服務,進而提高社區(qū)服務效率、改善政民關(guān)系。
? 在商業(yè)領域的消費者洞察方案中,數(shù)據(jù)采集來源豐富:涵蓋電商平臺、知道問答等覆蓋全網(wǎng)的6大數(shù)據(jù)源;功能多樣靈活可配:設計數(shù)據(jù)源站點可靈活配置;分析維度涉及產(chǎn)品、屬性、屬性可配,提及點可配;支持競品對比分析,同時還能采用大數(shù)據(jù)建模,智能識別過濾水平評論。
? 交通大數(shù)據(jù)解決方案,通過公路大數(shù)據(jù)采集、數(shù)據(jù)共享交換、視頻圖像數(shù)據(jù)對接,實現(xiàn)各類信息資源的集中存儲、業(yè)務可視化。同時在道路視頻巡檢、道路養(yǎng)護等方面進行數(shù)據(jù)分析、智能預警,在道路安全方面利用大數(shù)據(jù)分析為公路處提供更加科學準確的決策依據(jù)。為“創(chuàng)建和諧公路、服務百姓出行服務”提供業(yè)務支撐。
? 醫(yī)保大數(shù)據(jù)解決方案,通過大數(shù)據(jù)反欺詐引擎可以解決醫(yī)學規(guī)則無法識別的欺詐騙保行為,挖掘更多基金不合格的使用問題;完善基金的控費監(jiān)管手段,對醫(yī)療機構(gòu)達到更加強大的監(jiān)管效果,促使醫(yī)療機構(gòu)規(guī)范自身醫(yī)療行為。
Hugedata 作為江蘇省未來網(wǎng)絡創(chuàng)新研究院對外提供網(wǎng)絡大數(shù)據(jù)服務的經(jīng)營實體,是國際上大數(shù)據(jù)平臺產(chǎn)品線最齊全的企業(yè)之一。江蘇省未來網(wǎng)絡創(chuàng)新研究院成立于2011年,是由南京市政府、北京郵電大學、中國科學院計算技術(shù)研究所、清華大學、中國電子科技集團公司電子科學研究院等作為理事單位組建的事業(yè)法人單位。
Hugedata 在研究院的帶領下,擁有頂級的高端人才和技術(shù)團隊支撐,為政府、醫(yī)療、環(huán)保、公安、交通、旅游、安全、金融、教育、企業(yè)等10多個領域提供高效的大數(shù)據(jù)整體應用解決方案,是國內(nèi)少數(shù)掌握大數(shù)據(jù)核心技術(shù),從事大數(shù)據(jù)平臺、工具及應用系統(tǒng)開發(fā)的高科技公司。
我大概講一下行業(yè)背景,包括阿里云所做的ET工業(yè)大腦,可能會講的比較倉促一些。最早的工業(yè)時代,也就是那個蒸汽時代,一開始都是手工作業(yè)。 蒸汽時代之后呢,到后面伴隨著我們的信息化、機械化的快速發(fā)展,我們迅速邁入“自動化工業(yè)時代” 以及后來的“信息工業(yè)時代”?,F(xiàn)如今,隨時大數(shù)據(jù)的在工業(yè)應用中的普及,是否能帶我們發(fā)現(xiàn)新的工業(yè)之美,步入嶄新的工業(yè)4.0“數(shù)據(jù)智能工業(yè)時代”?
因為我們在做阿里云的時候,很多時候都需要去各地考察現(xiàn)場環(huán)境,所以對這塊感觸很深。在很多年以前,部分發(fā)達國家基本已經(jīng)有了無人化工廠,信息化系統(tǒng) ,這些在世界上都是非常領先的。除此之外,他們還有很多機器化設備數(shù)據(jù),也就是說,可能在數(shù)據(jù)層面,我們會發(fā)現(xiàn)一些新的思路,可以從數(shù)據(jù)上面真正的改變一下工藝,我們之后會講到這個。那個時候我們就發(fā)現(xiàn)了,工業(yè)大數(shù)據(jù)化是大勢所趨。當時公司就意識到了這一點,同時中國也發(fā)布了“中國制造2025”計劃,強調(diào)制造業(yè)數(shù)字化、網(wǎng)絡化、智能化,在“工業(yè)4.0”實現(xiàn)“彎道超車”。
那么為什么想到做大數(shù)據(jù),是因為我大學在工廠里邊,有非常多的數(shù)據(jù)可以做參考,比如說像生產(chǎn)機床的轉(zhuǎn)速,能耗,包括火力發(fā)電的燃燒和燃煤消耗等,都是在生產(chǎn)過程中的數(shù)據(jù)。
問題背后的情況是什么樣子。我要講一個問題,我們可以從數(shù)據(jù)上面來判斷你這個問題是否存在。站在數(shù)據(jù)層面,這個感觸就比較深。在很多年以前,國外就有一些無人化工廠,只有幾十個人的樣子,有很多信息化系統(tǒng),有很多機器設備的數(shù)據(jù)。工業(yè)數(shù)據(jù)按照特點大致可以進行一下劃分:時間維度不斷的延長,經(jīng)過多年的生產(chǎn)經(jīng)營,積累了歷年的生產(chǎn)設備數(shù)據(jù),質(zhì)量數(shù)據(jù),原材料數(shù)據(jù)。數(shù)據(jù)的范圍在不斷的擴大,除了積累的常見數(shù)據(jù)(如企業(yè)財務,CRM等,隨著互聯(lián)網(wǎng)的發(fā)展,越來越多的外部數(shù)據(jù)也被搜集回來,包括市場數(shù)據(jù),社交以及企業(yè)輿情)。數(shù)據(jù)一統(tǒng)化趨勢,減少人工巡檢。數(shù)據(jù)類別增加了,非結(jié)構(gòu)化數(shù)據(jù)在各個角落出現(xiàn),而且不斷增加。
一般來說,大數(shù)據(jù)有數(shù)據(jù)量大,數(shù)據(jù)種類多,商業(yè)價值高,處理速度快等特點。在此基礎上還有兩大優(yōu)勢:準去率高:應用場景一般是預測;實時性強:實時監(jiān)控,故障預警。
數(shù)據(jù)化是大勢所趨,那我們也必須積極加入。同時近年來國家號召,在工廠里邊在生產(chǎn)過程中有非常多的數(shù)據(jù)可以改善。而改善方式是來自于我從數(shù)據(jù)方面的判斷,我們阿里云是站在數(shù)據(jù)層方面,看我們是否能幫助你提高,像產(chǎn)能這些關(guān)鍵指標。工業(yè)數(shù)據(jù)的維度,一個是在目前的生產(chǎn)鏈上面,一個是時間不斷增長之后,生產(chǎn)設備數(shù)據(jù)包括原材料數(shù)據(jù), 數(shù)據(jù)的范圍仍在不斷擴大。
目前很多工業(yè)企業(yè)都不可避免的遇到下面這些業(yè)務痛點:加工流程長,設備參數(shù)多,造成工藝人員不能有效的利用信息,定位不良原因,影響工藝人員調(diào)整參數(shù)的效率。目前工藝參數(shù)的設定,主要依賴于工藝技術(shù)部專家的經(jīng)驗及單變量實驗測試的結(jié)果表現(xiàn)。因為我們結(jié)合工藝技術(shù)部專家要求,工藝參數(shù)設定信息,工藝參數(shù)實際表現(xiàn)及批次分選結(jié)果,進行多變量綜合分析,建模,推薦一組最佳的工藝參數(shù),從而達到成本最低化效率最大化。
很多人會問,阿里云ET工業(yè)大腦,是什么?下面我結(jié)合自己的理解,給大家解釋一下,阿里云ET工業(yè)大腦,是面向工業(yè)企業(yè),利用企業(yè)生產(chǎn)過程數(shù)據(jù),以云計算為基礎,結(jié)合阿里云首創(chuàng)的面向不同業(yè)務場景的算法模型,將互聯(lián)網(wǎng)技術(shù)應用于生產(chǎn)控制之中,以數(shù)據(jù)驅(qū)動產(chǎn)業(yè)升級,提高產(chǎn)能,降低成本,釋放工業(yè)設備數(shù)據(jù)潛能。
下面我們來分享一些案例,大家可以百度搜一下:協(xié)鑫光伏這個企業(yè),這是很經(jīng)典的一個案例。他們企業(yè)當時有一個問題:協(xié)鑫光伏太陽能電池硅片生產(chǎn)過程的切片次品率過高,導致生產(chǎn)效率降低,生產(chǎn)成本升高。我們給出的方案是,將阿里云ET工業(yè)大腦應用于太陽能電池硅片生產(chǎn)制造領域,監(jiān)控切片生產(chǎn)參數(shù)曲線,推薦最優(yōu)參數(shù),提升良品率。這樣的結(jié)果是,通過對太陽能電池切片制造流程進行最優(yōu)參數(shù)推薦,提升了1%的切片良品率,從而大大減少太陽能電池硅片產(chǎn)品次品率。
下面我們來看第二家公司,這個項目因為我參加過,我就看出來他們的問題在于過于依賴人工識別組件瑕疵,這樣不僅工序繁瑣,而且不確定性很強。我們就建議他們將阿里云ET工業(yè)大腦中的圖像識別附能于工廠,也取得了很好的效果,問題也得到了很大的改善。
我們對盾安集團也進行過深度的分析,他們面對一個很大的風險就是風力發(fā)電機可能出現(xiàn)問題,傳統(tǒng)風力發(fā)電機維護故障發(fā)生后“亡羊補牢”,事后發(fā)現(xiàn)維修復雜,維修周期長,停產(chǎn)損失大、維修費高昂。我們通過分析海量風機歷史運行數(shù)據(jù),構(gòu)建風電機組異常智能監(jiān)控預警以及風電機機組故障預測模型,可以提前發(fā)現(xiàn)微小故障并進行預警。這樣方案的結(jié)果就是,通過高頻諧波的占比預測風機故障趨勢,提前2個月進行發(fā)電機故障預警,每臺風機維護費用從30-50萬減少至2萬元。