當(dāng)前公安的業(yè)務(wù)系統(tǒng)多樣,但大多業(yè)務(wù)系統(tǒng)與實(shí)際的業(yè)務(wù)結(jié)合不夠緊密,產(chǎn)生了技術(shù)與業(yè)務(wù)“兩張皮”的現(xiàn)象,進(jìn)而信息化難以有效支撐業(yè)務(wù)的進(jìn)展,而業(yè)務(wù)的演變難以對(duì)業(yè)務(wù)系統(tǒng)的進(jìn)化形成促進(jìn),造成信息化與業(yè)務(wù)脫節(jié)。
公安大情報(bào)體系建設(shè)需要大數(shù)據(jù)存儲(chǔ)技術(shù)、管理技術(shù)、挖掘技術(shù)為契機(jī),能夠建立海量的公安數(shù)據(jù)資源庫(kù),不斷挖掘公安情報(bào),實(shí)現(xiàn)信息化隨著業(yè)務(wù)的發(fā)展而快速變化,真正實(shí)現(xiàn)業(yè)務(wù)與信息化的融合,形成業(yè)務(wù)與信息化互相促進(jìn)的格局。
因此,大數(shù)據(jù)技術(shù)的普及和應(yīng)用,“大情報(bào)體系”建設(shè)需要對(duì)數(shù)據(jù)的大開(kāi)發(fā),通過(guò)使用挖掘算法對(duì)海量數(shù)據(jù)進(jìn)行分析和建模,挖掘出各類(lèi)數(shù)據(jù)背后所蘊(yùn)含的內(nèi)在的、必然的因果關(guān)系,進(jìn)而判斷出某一事件發(fā)生的概率、科學(xué)預(yù)測(cè)其發(fā)展趨勢(shì),以此來(lái)服務(wù)打防管控等警務(wù)工作
新的公安大數(shù)據(jù)方案是公安部門(mén)的迫切需求。
新建設(shè)的公安大數(shù)據(jù)解決方案,是通過(guò)對(duì)海量數(shù)據(jù)的收集、整理、歸檔、分析、預(yù)測(cè),從復(fù)雜的數(shù)據(jù)中挖掘出各類(lèi)數(shù)據(jù)背后所蘊(yùn)含的、內(nèi)在的、必然的因果關(guān)系,找到隱秘的規(guī)律,促使這些數(shù)據(jù)從量變到質(zhì)變,實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的深度應(yīng)用、綜合應(yīng)用和高端應(yīng)用,而這種系統(tǒng)將成為各警種的大數(shù)據(jù)管理和分析平臺(tái)。通過(guò)大數(shù)據(jù)的建設(shè),使新系統(tǒng)能夠向各警種提供集中資源、集中管理、集中監(jiān)控和配套實(shí)施統(tǒng)一的大數(shù)據(jù)應(yīng)用環(huán)境,保障在今后一個(gè)較長(zhǎng)時(shí)期內(nèi)很擔(dān)負(fù)起對(duì)全局各警實(shí)戰(zhàn)應(yīng)用的支撐、服務(wù)、保障作用。
公安大數(shù)據(jù)的建設(shè)需求
近年來(lái)隨著信息化技術(shù)的不斷發(fā)展,現(xiàn)有的公安警務(wù)數(shù)據(jù)中心無(wú)論是規(guī)模還是架構(gòu)都很難適應(yīng)在海量數(shù)據(jù)場(chǎng)景下的數(shù)據(jù)管理和分析,直接影響了公安形勢(shì)預(yù)判和重大決策。因此,在現(xiàn)階段建設(shè)新的能夠匹配公安業(yè)務(wù)場(chǎng)景的大數(shù)據(jù)系統(tǒng)是公安部門(mén)的迫切需求。
新建設(shè)的公安大數(shù)據(jù)系統(tǒng),將成為面向各警種的大數(shù)據(jù)管理和分析平臺(tái),通過(guò)對(duì)海量數(shù)據(jù)的收集、整理、歸檔、分析、預(yù)測(cè),從復(fù)雜的數(shù)據(jù)中挖掘出各類(lèi)數(shù)據(jù)背后所蘊(yùn)含的、內(nèi)在的、必然的因果關(guān)系,找到隱秘的規(guī)律,促使這些數(shù)據(jù)從量變到質(zhì)變,實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的深度應(yīng)用、綜合應(yīng)用和高端應(yīng)用。通過(guò)大數(shù)據(jù)的建設(shè),使新系統(tǒng)能夠向各警種提供集中資源、集中管理、集中監(jiān)控和配套實(shí)施統(tǒng)一的大數(shù)據(jù)應(yīng)用環(huán)境,保障在今后一個(gè)較長(zhǎng)時(shí)期內(nèi)很好地?fù)?dān)負(fù)起對(duì)全局各警實(shí)戰(zhàn)應(yīng)用的支撐、服務(wù)、保障作用。
那么,公安需要一個(gè)什么樣的大數(shù)據(jù)系統(tǒng)?
1.PB級(jí)數(shù)據(jù)存儲(chǔ)管理:信息化建設(shè)在推進(jìn),數(shù)據(jù)規(guī)模隨之飛速增長(zhǎng),為了滿(mǎn)足大規(guī)模數(shù)據(jù)的存儲(chǔ)和分析,大數(shù)據(jù)存儲(chǔ)系統(tǒng)應(yīng)支持單一系統(tǒng)擴(kuò)展至10PB以上規(guī)模,以滿(mǎn)足未來(lái)數(shù)據(jù)爆發(fā)的存儲(chǔ)需要
2.多種大數(shù)據(jù)類(lèi)型與協(xié)議支持:公安大數(shù)據(jù)形式多樣,包含文檔、圖片、視頻、柵格、矢量等,因此該系統(tǒng)需要能夠支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化多種數(shù)據(jù)類(lèi)型,提供NFS/CIFS/JDBC/ODBC等多種接口,以便業(yè)務(wù)對(duì)多種數(shù)據(jù)進(jìn)行訪(fǎng)問(wèn)和操作;
3.高質(zhì)量的大數(shù)據(jù)整合:好的大數(shù)據(jù)質(zhì)量是大數(shù)據(jù)分析挖掘等有效應(yīng)用的基本條件,面對(duì)公安行業(yè)交互復(fù)雜而繁多的系統(tǒng),勢(shì)必需要將這些多源異構(gòu)的數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換及裝載,實(shí)現(xiàn)數(shù)據(jù)的整合、消重,提供高質(zhì)量的大數(shù)據(jù),在此基礎(chǔ)上進(jìn)行關(guān)聯(lián)、建模,為實(shí)戰(zhàn)業(yè)務(wù)提供可用的數(shù)據(jù);
4.高效的大數(shù)據(jù)分析能力:百億條記錄的檢索、上千張表的碰撞、幾百個(gè)小時(shí)的視頻分析、大量的移動(dòng)互聯(lián)網(wǎng)和社交媒體數(shù)據(jù)處理等應(yīng)用,無(wú)不對(duì)大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)分析能力提出更高的要求;
5.可管理和開(kāi)放性:可管理、開(kāi)放化、標(biāo)準(zhǔn)化的大數(shù)據(jù)技術(shù)體系架構(gòu),不僅可以為公安帶來(lái)更高的性?xún)r(jià)比、更出色的擴(kuò)展性,更能為警務(wù)建設(shè)在大數(shù)據(jù)平臺(tái)上開(kāi)展新探索、新應(yīng)用解除后顧之憂(yōu);
6.安全可靠,自主可控:公安系統(tǒng)中很多數(shù)據(jù)關(guān)系著國(guó)家安全和人民生命財(cái)產(chǎn)安全,因此,要求該系統(tǒng)具備非常高的可靠性,同時(shí),為進(jìn)一步加強(qiáng)數(shù)據(jù)安全性,避免數(shù)據(jù)泄露,最好選用具備完全自主知識(shí)產(chǎn)權(quán)的國(guó)產(chǎn)設(shè)備和系統(tǒng)。
公安大數(shù)據(jù)的技術(shù)選型
大數(shù)據(jù)的實(shí)質(zhì)是對(duì)數(shù)據(jù)的管理與開(kāi)發(fā)利用,與當(dāng)前以信息資源開(kāi)發(fā)為核心的公安工作具有廣泛的共通性,如何借助大數(shù)據(jù)技術(shù)推動(dòng)公安工作的發(fā)展和變革?技術(shù)選型非常重要。在各個(gè)企業(yè)和組織紛紛助推下,大數(shù)據(jù)領(lǐng)域的相關(guān)技術(shù)呈現(xiàn)百花齊放局面,涵蓋數(shù)據(jù)收集、存儲(chǔ)、計(jì)算、挖掘、資源調(diào)度等,下面就以最核心的計(jì)算層和存儲(chǔ)層兩個(gè)維度介紹下有關(guān)技術(shù)路線(xiàn)和發(fā)展趨勢(shì)。
數(shù)據(jù)處理:
簡(jiǎn)而言之,不管對(duì)何種應(yīng)用,當(dāng)數(shù)據(jù)量很大時(shí)就無(wú)法在一臺(tái)服務(wù)器上解決計(jì)算問(wèn)題,此時(shí)分布式計(jì)算優(yōu)勢(shì)就體現(xiàn)出來(lái),而Hadoop MapReduce的重要?jiǎng)?chuàng)新便是當(dāng)處理一個(gè)大數(shù)據(jù)集時(shí)會(huì)將其任務(wù)分解并在運(yùn)行的多個(gè)節(jié)點(diǎn)中處理,這種批處理框架常用于離線(xiàn)的復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)處理,如ETL、數(shù)據(jù)挖掘等場(chǎng)景;與Hadoop的使用硬盤(pán)來(lái)存儲(chǔ)數(shù)據(jù)不同,Spark是基于內(nèi)存的迭代計(jì)算框架,適用于需要多次操作特定數(shù)據(jù)集的應(yīng)用場(chǎng)合;而Storm則是專(zhuān)門(mén)針對(duì)實(shí)時(shí)數(shù)據(jù)類(lèi)型的流式計(jì)算分析框架,應(yīng)用在低延遲的場(chǎng)景中,實(shí)現(xiàn)海量事件的實(shí)時(shí)分析、處理和決策。除此之外,為應(yīng)對(duì)不斷增長(zhǎng)的海量結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和快速處理以及靈活的業(yè)務(wù)建模需求,數(shù)據(jù)庫(kù)系統(tǒng)必將引入分布式架構(gòu)、MPP處理技術(shù)。
數(shù)據(jù)存儲(chǔ):
上面提到了MapReduce將任務(wù)分發(fā)到多個(gè)服務(wù)器上處理大數(shù)據(jù)的能力。而對(duì)于分布式計(jì)算,每個(gè)服務(wù)器必須具備對(duì)數(shù)據(jù)的訪(fǎng)問(wèn)能力,這就是HDFS所起到的作用,HDFS有著高容錯(cuò)性、高吞吐量的特點(diǎn),適合大數(shù)據(jù)集的應(yīng)用。與此同時(shí),業(yè)內(nèi)也有許多其他類(lèi)型的文件系統(tǒng)推出,不僅能解決了傳統(tǒng)存儲(chǔ)體系結(jié)構(gòu)存在的難題,又能提高存儲(chǔ)利用率和數(shù)據(jù)讀寫(xiě)性能,可以替代HDFS作為Hadoop架構(gòu)的底層文件系統(tǒng)/數(shù)據(jù)存儲(chǔ)。
不同的技術(shù)思路各有偏重,由于公安業(yè)務(wù)種類(lèi)繁多,大數(shù)據(jù)應(yīng)用場(chǎng)景多樣化,除了建立各類(lèi)基礎(chǔ)大數(shù)據(jù)資源庫(kù)之外,還需要做到事前預(yù)測(cè)警務(wù)研判、事中實(shí)時(shí)情報(bào)分析及事后案事件分析,及可視化查詢(xún)統(tǒng)計(jì)等,建議公安用戶(hù)基于智能融合的大數(shù)據(jù)架構(gòu)構(gòu)建上層應(yīng)用,積極引入大數(shù)據(jù)領(lǐng)域的先進(jìn)技術(shù),推動(dòng)公安工作邁入大數(shù)據(jù)發(fā)展階段。