隨著城市化進(jìn)程的加快，交通擁堵、交通污染日益嚴(yán)重，交通事故頻繁發(fā)生，這些都是各大城市亟待解決的問(wèn)題。為此，及時(shí)、準(zhǔn)確獲取交通數(shù)據(jù)并構(gòu)建交通數(shù)據(jù)處理模型是建設(shè)智能交通的前提，而這一難題可以通過(guò)大數(shù)據(jù)技術(shù)得到解決。目前交通行業(yè)數(shù)據(jù)處理和利用的現(xiàn)狀如下：
1. 存在數(shù)據(jù)孤島：各部門獨(dú)自擁有各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)，管理、共享難；各交通部門在建設(shè)部門數(shù)據(jù)庫(kù)系統(tǒng)時(shí)，只考慮了滿足自身業(yè)務(wù)需求，缺乏統(tǒng)一規(guī)劃；各種交通信息資源分散存儲(chǔ)，各部門或各系統(tǒng)的數(shù)據(jù)庫(kù)相互分離，數(shù)據(jù)共享交換機(jī)制還沒(méi)有形成。
2. 數(shù)據(jù)資產(chǎn)流失：歷史數(shù)據(jù)由于存儲(chǔ)手段、存儲(chǔ)格式、存儲(chǔ)介質(zhì)等原因，難以保存和利用，例如新舊系統(tǒng)切換時(shí)數(shù)據(jù)的備份機(jī)制如果沒(méi)有做好，就會(huì)出現(xiàn)歷史數(shù)據(jù)資產(chǎn)流失。
3. 智能化程度低：對(duì)于緊急事故的處理，主要由人的經(jīng)驗(yàn)來(lái)做決策，很少用數(shù)據(jù)說(shuō)話，應(yīng)急指揮、道路規(guī)劃等迫切需要智能化解決方案；
4. 精細(xì)化管理不夠：數(shù)據(jù)缺乏統(tǒng)一管理、難以支持精細(xì)化管理和科學(xué)化決策，數(shù)字資源綜合利用率低。
交通大數(shù)據(jù)解決方案
H3C大數(shù)據(jù)平臺(tái)采用融合架構(gòu)：新型MPP數(shù)據(jù)庫(kù)與Hadoop生態(tài)系統(tǒng)融合一體，用MPP處理PB級(jí)別的、高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)，同時(shí)為應(yīng)用開(kāi)發(fā)提供標(biāo)準(zhǔn)SQL接口;用Hadoop存儲(chǔ)與處理半結(jié)構(gòu)化、非結(jié)構(gòu)化的視頻監(jiān)控、GPS定位信息、RFID識(shí)別信息等數(shù)據(jù)，這樣可同時(shí)滿足結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理需求；運(yùn)維管理平臺(tái)統(tǒng)一管理MPP與Hadoop集群。交通行業(yè)大數(shù)據(jù)平臺(tái)架構(gòu)如下圖所示：
通過(guò)采集不同數(shù)據(jù)源、不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，導(dǎo)入到大數(shù)據(jù)平臺(tái)中，對(duì)接上層個(gè)性化數(shù)據(jù)分析、數(shù)據(jù)挖掘、BI報(bào)表展示等應(yīng)用。數(shù)據(jù)抽取融合如下圖所示：
H3C交通大數(shù)據(jù)解決方案的價(jià)值
交通大數(shù)據(jù)來(lái)源廣泛，主要分為靜態(tài)大數(shù)據(jù)與動(dòng)態(tài)大數(shù)據(jù)。靜態(tài)大數(shù)據(jù)包括城市交通的基礎(chǔ)空間數(shù)據(jù)庫(kù)、道路交通網(wǎng)絡(luò)信息、道路交通客運(yùn)信息、航班信息、列車時(shí)刻表信息等數(shù)據(jù)；動(dòng)態(tài)大數(shù)據(jù)包括衛(wèi)星遙感、航空攝影測(cè)量、地面視頻、交通工具實(shí)時(shí)位置信息等數(shù)據(jù)。
新華三集團(tuán)交通大數(shù)據(jù)解決方案，基于開(kāi)源的分布式存儲(chǔ)、計(jì)算框架，以滿足當(dāng)前海量、多樣化數(shù)據(jù)的存儲(chǔ)與計(jì)算需求。該方案結(jié)合對(duì)交通主體、行為、態(tài)勢(shì)、路網(wǎng)拓?fù)浜铜h(huán)境等機(jī)理的理解，基于數(shù)據(jù)的標(biāo)準(zhǔn)規(guī)范，收集、存儲(chǔ)與分析海量的數(shù)據(jù)，發(fā)掘交通出行規(guī)律、快速處理交通難題、解決大面積交通擁堵問(wèn)題、提倡綠色出行理念以及實(shí)現(xiàn)各種交通業(yè)務(wù)創(chuàng)新。
大數(shù)據(jù)之于智能交通的意義，可以跨越行政區(qū)域的限制，實(shí)現(xiàn)交通數(shù)據(jù)信息的共享，在信息集成優(yōu)勢(shì)和組合效率上，建立綜合性、立體的交通信息體系；另外在車輛安全、交通資源配置以及利用大數(shù)據(jù)的快速性和可預(yù)測(cè)性來(lái)提升交通預(yù)測(cè)的水平，都有極大的幫助。
隨著城市化進(jìn)程的加快，交通擁堵、交通污染日益嚴(yán)重，交通事故頻繁發(fā)生，這些都是各大城市亟待解決的問(wèn)題。為此，及時(shí)、準(zhǔn)確獲取交通數(shù)據(jù)并構(gòu)建交通數(shù)據(jù)處理模型是建設(shè)智能交通的前提，而這一難題可以通過(guò)大數(shù)據(jù)技術(shù)得到解決。目前交通行業(yè)數(shù)據(jù)處理和利用的現(xiàn)狀如下：
1. 存在數(shù)據(jù)孤島：各部門獨(dú)自擁有各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)，管理、共享難；各交通部門在建設(shè)部門數(shù)據(jù)庫(kù)系統(tǒng)時(shí)，只考慮了滿足自身業(yè)務(wù)需求，缺乏統(tǒng)一規(guī)劃；各種交通信息資源分散存儲(chǔ)，各部門或各系統(tǒng)的數(shù)據(jù)庫(kù)相互分離，數(shù)據(jù)共享交換機(jī)制還沒(méi)有形成。
2. 數(shù)據(jù)資產(chǎn)流失：歷史數(shù)據(jù)由于存儲(chǔ)手段、存儲(chǔ)格式、存儲(chǔ)介質(zhì)等原因，難以保存和利用，例如新舊系統(tǒng)切換時(shí)數(shù)據(jù)的備份機(jī)制如果沒(méi)有做好，就會(huì)出現(xiàn)歷史數(shù)據(jù)資產(chǎn)流失。
3. 智能化程度低：對(duì)于緊急事故的處理，主要由人的經(jīng)驗(yàn)來(lái)做決策，很少用數(shù)據(jù)說(shuō)話，應(yīng)急指揮、道路規(guī)劃等迫切需要智能化解決方案；
4. 精細(xì)化管理不夠：數(shù)據(jù)缺乏統(tǒng)一管理、難以支持精細(xì)化管理和科學(xué)化決策，數(shù)字資源綜合利用率低。
交通大數(shù)據(jù)解決方案
H3C大數(shù)據(jù)平臺(tái)采用融合架構(gòu)：新型MPP數(shù)據(jù)庫(kù)與Hadoop生態(tài)系統(tǒng)融合一體，用MPP處理PB級(jí)別的、高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)，同時(shí)為應(yīng)用開(kāi)發(fā)提供標(biāo)準(zhǔn)SQL接口;用Hadoop存儲(chǔ)與處理半結(jié)構(gòu)化、非結(jié)構(gòu)化的視頻監(jiān)控、GPS定位信息、RFID識(shí)別信息等數(shù)據(jù)，這樣可同時(shí)滿足結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理需求；運(yùn)維管理平臺(tái)統(tǒng)一管理MPP與Hadoop集群。交通行業(yè)大數(shù)據(jù)平臺(tái)架構(gòu)如下圖所示：
通過(guò)采集不同數(shù)據(jù)源、不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，導(dǎo)入到大數(shù)據(jù)平臺(tái)中，對(duì)接上層個(gè)性化數(shù)據(jù)分析、數(shù)據(jù)挖掘、BI報(bào)表展示等應(yīng)用。數(shù)據(jù)抽取融合如下圖所示：
H3C交通大數(shù)據(jù)解決方案的價(jià)值
交通大數(shù)據(jù)來(lái)源廣泛，主要分為靜態(tài)大數(shù)據(jù)與動(dòng)態(tài)大數(shù)據(jù)。靜態(tài)大數(shù)據(jù)包括城市交通的基礎(chǔ)空間數(shù)據(jù)庫(kù)、道路交通網(wǎng)絡(luò)信息、道路交通客運(yùn)信息、航班信息、列車時(shí)刻表信息等數(shù)據(jù)；動(dòng)態(tài)大數(shù)據(jù)包括衛(wèi)星遙感、航空攝影測(cè)量、地面視頻、交通工具實(shí)時(shí)位置信息等數(shù)據(jù)。
新華三集團(tuán)交通大數(shù)據(jù)解決方案，基于開(kāi)源的分布式存儲(chǔ)、計(jì)算框架，以滿足當(dāng)前海量、多樣化數(shù)據(jù)的存儲(chǔ)與計(jì)算需求。該方案結(jié)合對(duì)交通主體、行為、態(tài)勢(shì)、路網(wǎng)拓?fù)浜铜h(huán)境等機(jī)理的理解，基于數(shù)據(jù)的標(biāo)準(zhǔn)規(guī)范，收集、存儲(chǔ)與分析海量的數(shù)據(jù)，發(fā)掘交通出行規(guī)律、快速處理交通難題、解決大面積交通擁堵問(wèn)題、提倡綠色出行理念以及實(shí)現(xiàn)各種交通業(yè)務(wù)創(chuàng)新。
大數(shù)據(jù)之于智能交通的意義，可以跨越行政區(qū)域的限制，實(shí)現(xiàn)交通數(shù)據(jù)信息的共享，在信息集成優(yōu)勢(shì)和組合效率上，建立綜合性、立體的交通信息體系；另外在車輛安全、交通資源配置以及利用大數(shù)據(jù)的快速性和可預(yù)測(cè)性來(lái)提升交通預(yù)測(cè)的水平，都有極大的幫助。
2010年，國(guó)家公布的“十二五”規(guī)劃中指出要重點(diǎn)建設(shè)國(guó)家級(jí)、省級(jí)和地市級(jí)三級(jí)衛(wèi)生信息平臺(tái)，建設(shè)電子檔案和電子病歷兩個(gè)基礎(chǔ)數(shù)據(jù)庫(kù)等諸項(xiàng)目標(biāo)，即推進(jìn)醫(yī)療信息化的“3521”工程。過(guò)去由于缺少統(tǒng)一的電子病歷系統(tǒng)(EMR)標(biāo)準(zhǔn)，中國(guó)的電子病歷系統(tǒng)發(fā)展比較緩慢，醫(yī)院之間不能實(shí)現(xiàn)病患信息共享，醫(yī)療服務(wù)水平也因此受到影響。為改善這一現(xiàn)狀，國(guó)家會(huì)逐漸加大對(duì)電子病歷的投入。適應(yīng)這一趨勢(shì)，各級(jí)醫(yī)院也將大力投入大數(shù)據(jù)、云計(jì)算、醫(yī)療物聯(lián)。而隨著醫(yī)療信息數(shù)據(jù)的幾何倍數(shù)增長(zhǎng)，醫(yī)院信息海量存儲(chǔ)將越來(lái)越受到重視，新華三集團(tuán)醫(yī)療大數(shù)據(jù)致力于提高醫(yī)療和養(yǎng)老的服務(wù)效率和質(zhì)量、降低服務(wù)成本、改善就醫(yī)和養(yǎng)老的客戶體驗(yàn)智慧體系。
醫(yī)療大數(shù)據(jù)解決方案：采用華三DataEngine大數(shù)據(jù)平臺(tái)，為客戶提供更好的智慧醫(yī)療服務(wù)。在醫(yī)療+互聯(lián)網(wǎng)化場(chǎng)景，有效的提升了醫(yī)療信息系統(tǒng)的處理效率，提升了海量病人電子檔案迅速檢索，針對(duì)患者檔案大幅提升快速分析性能，實(shí)現(xiàn)快速高效即席查詢，為海量的EMH歷史檔案分析應(yīng)用提供了數(shù)據(jù)支撐，根據(jù)歷史診斷給患者精準(zhǔn)的病例畫像。
華三大數(shù)據(jù)平臺(tái)DataEngine重構(gòu)包括人口信息、醫(yī)療資源、電子健康檔案、電子病歷、生命體征信息、醫(yī)學(xué)影像在內(nèi)的醫(yī)療衛(wèi)生全領(lǐng)域大數(shù)據(jù)信息庫(kù)，建立相應(yīng)的信息存儲(chǔ)、交換共享的標(biāo)準(zhǔn)規(guī)范體系。圍繞以患者為核心建立標(biāo)準(zhǔn)化的EHR檔案平臺(tái)。
醫(yī)療大數(shù)據(jù)以“人”連接平臺(tái)、打通行業(yè)孤島，在系統(tǒng)間互聯(lián)互通的基礎(chǔ)上實(shí)現(xiàn)健康檔案的互操作，借助各方力量共同為民眾完善健康檔案。“健康檔案”作為患者個(gè)人的“健康門戶”，統(tǒng)一各行業(yè)、各平臺(tái)系統(tǒng)對(duì)于個(gè)人電子健康記錄的需求，實(shí)現(xiàn)信息互補(bǔ)和共用。
基于健康檔案（EHR）大數(shù)據(jù)庫(kù)，從業(yè)務(wù)需求出發(fā)，通過(guò)華三大數(shù)據(jù)DataEngine分析，挖掘展現(xiàn)周期性的突發(fā)疾病、傳染病、重點(diǎn)疾病及相應(yīng)診療費(fèi)用等監(jiān)測(cè)、監(jiān)管和預(yù)警。
華三通信DataEngine大數(shù)據(jù)平臺(tái)專業(yè)致力于提高醫(yī)療和養(yǎng)老的服務(wù)效率和質(zhì)量，降低服務(wù)成本，改善就醫(yī)和養(yǎng)老的客戶體驗(yàn)智慧體系，有效的提升了患者健康檔案的在線即席查詢效率，患者健康問(wèn)題檢索，海量病例分析。最終實(shí)現(xiàn)：
（1）大數(shù)據(jù)分析以患者為中心的醫(yī)院診療服務(wù)系統(tǒng)和管理系統(tǒng)的智能化
（2）以海量居民電子健康檔案為核心的區(qū)域醫(yī)療服務(wù)系統(tǒng)的信息標(biāo)準(zhǔn)化和互聯(lián)互通
（3）面向居家養(yǎng)老、社區(qū)養(yǎng)老、機(jī)構(gòu)養(yǎng)老，突出“醫(yī)”和“養(yǎng)”相融合的養(yǎng)老服務(wù)智能化系統(tǒng)。
H3C DataEngine Lion運(yùn)維大數(shù)據(jù)平臺(tái)能夠幫助運(yùn)維人員從傳統(tǒng)被動(dòng)救火的運(yùn)維方式中解脫，利用大數(shù)據(jù)技術(shù)做到精準(zhǔn)、智能的運(yùn)維，主要解決用戶如下運(yùn)維難題：
1. 運(yùn)維日志分散，定位問(wèn)題需要單獨(dú)登陸設(shè)備、系統(tǒng)去分析。一個(gè)簡(jiǎn)單問(wèn)題定位原因可能會(huì)涉及系統(tǒng)眾多，需要很長(zhǎng)時(shí)間多部門人員溝通協(xié)調(diào)，Lion可以做到運(yùn)維日志的集中管理。
2. 海量數(shù)據(jù)存儲(chǔ)、檢索問(wèn)題，每天新增大量的日志數(shù)據(jù)，歷史數(shù)據(jù)存儲(chǔ)成本高，存了無(wú)法有效分析利用、帶來(lái)價(jià)值，Lion做到了存儲(chǔ)的彈性擴(kuò)展以及高效檢索。
3. 各種設(shè)備、應(yīng)用提供的日志信息之間難以關(guān)聯(lián)，一個(gè)問(wèn)題的出現(xiàn)很可能從應(yīng)用系統(tǒng)到硬件都有日志記錄保存，利用Lion的機(jī)器學(xué)習(xí)、大數(shù)據(jù)技術(shù)能分析日志之間的關(guān)聯(lián)性，可高效定位問(wèn)題。
4. 問(wèn)題事件難以提前預(yù)警，往往是出了問(wèn)題再去分析定位，Lion利用豐富的機(jī)器學(xué)習(xí)算法，做到運(yùn)維問(wèn)題事件的智能預(yù)警。
5. 報(bào)表統(tǒng)計(jì)需要手工操作，日志數(shù)據(jù)可視化程度不夠，Lion集成豐富的可視化圖表、儀表盤，讓數(shù)據(jù)更生動(dòng)，讓用戶更易發(fā)現(xiàn)日志數(shù)據(jù)的關(guān)聯(lián)。
H3C DataEngine Lion運(yùn)維大數(shù)據(jù)平實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)設(shè)備、服務(wù)器、安全設(shè)備、操作系統(tǒng)、應(yīng)用系統(tǒng)的日志自動(dòng)收集、集中存儲(chǔ)、快速檢索、智能告警、可視化，運(yùn)用大數(shù)據(jù)的技術(shù)手段來(lái)幫助運(yùn)維人員擺脫傳統(tǒng)IT運(yùn)維的困境。
數(shù)據(jù)源采集
支持采集服務(wù)器、網(wǎng)絡(luò)設(shè)備、安全設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫(kù)、應(yīng)用系統(tǒng)等日志文件；支持采集數(shù)據(jù)庫(kù)訪問(wèn)日志；支持網(wǎng)絡(luò)流量采集；支持設(shè)備性能指標(biāo)采集；支持端口監(jiān)聽(tīng)收集數(shù)據(jù)等，幾乎支持全數(shù)據(jù)源采集。
格式解析
1. 支持自動(dòng)化解析常見(jiàn)類型的日志。
2. 支持配置解析規(guī)則對(duì)日志解析。
3. 對(duì)于不能被自動(dòng)識(shí)別的日志，會(huì)對(duì)其全文索引。
數(shù)據(jù)存儲(chǔ)
采用分布式存儲(chǔ)架構(gòu)，節(jié)點(diǎn)可在線動(dòng)態(tài)擴(kuò)展增加存儲(chǔ)容量，支持PB級(jí)別以上海量數(shù)據(jù)存儲(chǔ)，支持高可用、多副本機(jī)制、快照功能。
數(shù)據(jù)檢索
1. 支持全文檢索功能。支持近實(shí)時(shí)的搜索效果，一般查詢?cè)诤撩爰?jí)響應(yīng)，億級(jí)數(shù)據(jù)查詢?cè)?/span>1秒內(nèi)響應(yīng)。
2. 支持定時(shí)頁(yè)面刷新結(jié)果，時(shí)間序列結(jié)果展示。
3. 支持自定義告警規(guī)則，智能預(yù)測(cè)發(fā)現(xiàn)問(wèn)題，做到對(duì)告警事件及時(shí)響應(yīng)。
數(shù)據(jù)分析挖掘
支持豐富的機(jī)器學(xué)習(xí)算法，能自我完善模型、訓(xùn)練數(shù)據(jù)。支持基于Spark、Hadoop等分布式計(jì)算框架，支持離線數(shù)據(jù)挖掘，實(shí)時(shí)數(shù)據(jù)分析，支持基于大數(shù)據(jù)的用戶行為分析、多數(shù)據(jù)源關(guān)聯(lián)分析。
可視化
1. 提供了折線圖、面積圖、餅圖、地圖、區(qū)域圖、表格、曲線圖、柱狀圖、雷達(dá)圖等圖表功能。
2. 支持定時(shí)的可視化圖表刷新。
3. 支持自由組合可視化為儀表盤。
4. 支持已保存的可視化、儀表盤對(duì)象的編輯、預(yù)覽、導(dǎo)入、導(dǎo)出以及批量導(dǎo)入和導(dǎo)出。
ACG流量統(tǒng)計(jì)
攻擊事件Top圖
一
新華三集團(tuán)是新IT 架構(gòu)的倡導(dǎo)者和先行者，圍繞國(guó)務(wù)院提出的“中國(guó)制造2025“ 方案，為實(shí)現(xiàn)中國(guó)制造騰飛做出自己的貢獻(xiàn)。智能制造不單單是簡(jiǎn)單工業(yè)制造和信息化技術(shù)的融合，更需要對(duì)制造進(jìn)行全流程的管控和趨勢(shì)研判，它包括產(chǎn)品預(yù)研、設(shè)備預(yù)測(cè)管理、產(chǎn)品質(zhì)量管理、產(chǎn)線流程自動(dòng)優(yōu)化組合、倉(cāng)庫(kù)預(yù)測(cè)分配等等新的課題，這些可以提高的制造業(yè)的一般水平，由于這些課題的開(kāi)展依賴于對(duì)海量數(shù)據(jù)的分析得出精準(zhǔn)的結(jié)論指導(dǎo)生產(chǎn)制造，所以需要一套高計(jì)算性能、高可靠、高安全的大數(shù)據(jù)平臺(tái)。
二
大數(shù)據(jù)平臺(tái)： 新型MPP數(shù)據(jù)庫(kù)與Hadoop生態(tài)系統(tǒng)混合架構(gòu)，使用MPP處理PB級(jí)別的、高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)，同時(shí)為應(yīng)用提供豐富的SQL支持能力；用Hadoop實(shí)現(xiàn)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)處理。這樣可同時(shí)滿足結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理需求；運(yùn)維管理平臺(tái)統(tǒng)一管理MPP與Hadoop集群。
海量分析，精確定位： 新華三集團(tuán)工業(yè)大數(shù)據(jù)解決方案，基于分布式計(jì)算，存儲(chǔ)框架，采用開(kāi)源架構(gòu)，面向汽車、快銷品、白電、電子加工、面板、電池、風(fēng)能等制造行業(yè)，為企業(yè)整合不同價(jià)值的數(shù)據(jù)源。通過(guò)采集，存儲(chǔ)，建模，挖掘，展現(xiàn)工序?qū)崿F(xiàn)針對(duì)客戶的客戶畫像開(kāi)展交叉營(yíng)銷，個(gè)性化產(chǎn)品推薦。生產(chǎn)管理方面利用MES 數(shù)據(jù)，PLC 數(shù)據(jù)， 探測(cè)裝置數(shù)據(jù)對(duì)設(shè)備進(jìn)行可預(yù)測(cè)性維護(hù)，對(duì)產(chǎn)品質(zhì)量檢測(cè)數(shù)據(jù)進(jìn)行產(chǎn)品質(zhì)量分析，準(zhǔn)確找出產(chǎn)品質(zhì)量出現(xiàn)問(wèn)題和影響產(chǎn)品質(zhì)量的關(guān)鍵要素， 通過(guò)企業(yè)的生產(chǎn)、流通、銷售、財(cái)務(wù)等相關(guān)信息結(jié)合大數(shù)據(jù)挖掘方法進(jìn)行風(fēng)險(xiǎn)分析等。當(dāng)原有數(shù)據(jù)倉(cāng)庫(kù)運(yùn)行緩慢，大數(shù)據(jù)平臺(tái)有良好的大規(guī)模數(shù)據(jù)處理能力，可以在不影響原有系統(tǒng)的情況幫助系統(tǒng)提升運(yùn)行效率。
