棱鏡門事件以來,NSA的全球監(jiān)控行為遭到各國政府和人民的譴責,但美國情報部門所展現(xiàn)的大數據和信息安全技術實力也成為各國政府甚至一流IT企業(yè)為之“艷羨”的對象。
NSA為代表的美國國家安全和情報機構不但在信息安全技術上領先業(yè)界數年,而且在大數據采集、處理和分析技術上也讓大數據技術廠商們“驚艷”。事實上,NSA大數據項目的規(guī)模、可擴展性、安全性在很多方面甚至超過了Google、亞馬遜和蘋果這樣的大型互聯(lián)網企業(yè)。
NSA旗下的風險投資公司In-Q-Tel迄今已經投資了200多個云計算、大數據、搜索與分析創(chuàng)業(yè)項目(下圖),是美國大數據創(chuàng)業(yè)熱潮的最強力推手,因為獲得In-Q-Tel的投資本身還意味著來自政府部門的訂單。
毫不夸張地說,NSA才是美國大數據創(chuàng)業(yè)熱潮背后的真正推手。
近日,前NSA工程師創(chuàng)建的數據庫創(chuàng)業(yè)公司Sqrrl的首席執(zhí)行官Ely Kahn在Structure Show視頻節(jié)目上解讀了大數據技術如何被應用于國家安全。Sqrrl公司的產品基于開源NoSQL數據庫系統(tǒng)Accumulo,而Accumulo系統(tǒng)正是創(chuàng)辦Sqrrl的工程師在NSA時開發(fā)的。
Accumulo是PRISM棱鏡項目的核心/p>
據Kahn的介紹,Accumulo數據庫系統(tǒng)是NSA企業(yè)架構的核心。大多數NSA的關鍵分析應用都運行在Accumulo上?!拔也荒芡嘎毒唧w是哪些應用,但人們在新聞中看到的大多數監(jiān)控和分析應用的后臺都是Accumulo?!?/span>
Accumulo的性能如此強大,足以配得上對NSA大規(guī)模監(jiān)控行為的各種指責。從技術角度看,NSA已經能夠識別網絡上的各種可疑行為和個人,但是NSA還有一個“更大的想法”,Kahn稱之為“生命分析的模式”:
這些都可以歸結為異常分析,也是我們目前的重點。如何建立一種模式來識別異常和正常?這需要基于對大量應用案例的分析…
我們今天的很多工作主要是圍繞圖譜分析(Graph Analytics)進行,建立大規(guī)模分布式的數據圖譜——圍繞一個具體的應用實例建立正常模式的數據圖譜,然后參照這個圖譜查找異常模式。
云計算大數據集中,國防部已經行動起來
NSA采用的大數據處理和分析技術也適用于整個國防部,NSA的任務是建設一個能夠跨部門分享NSA資源的云計算和大數據基礎設施,Accumulo就是這個計劃的一部分,如今國防部希望將所有數據——從無人機視頻到醫(yī)療數據,都匯聚到一個單一的大數據分析系統(tǒng)中。
據Kahn介紹,NSA正在進行中的一個重要項目代號“聯(lián)合信息環(huán)境”(Joint Information Environment),將在建立一個龐大的云計算大數據基礎設施,整合國防部的海量應用實例——從網絡安全、戰(zhàn)場情報系統(tǒng)到醫(yī)療實例無所不包。
你可以不喜歡NSA,但NSA已經無可爭議地在科技公司中確立了信息安全和大數據技術領導者的地位。
首個關鍵基礎設施信息安全框架規(guī)范出爐
過去幾周美國信息安全行業(yè)最大的利好消息是美國白宮發(fā)布了國家標準技術研究所(NIST)起草的美國國家信息安全指導規(guī)范《提升美國關鍵基礎設施信息安全框架規(guī)范》,這是美國在關鍵基礎設施信息安全方面的首個規(guī)范。(編者按:雖然不是強制規(guī)范,但很多方面已經有些類似國內的等級保護基本要求,因此也有美國媒體指出此規(guī)范有擴大行政監(jiān)管范圍之嫌)。
Kahn認為《規(guī)范》是美國國土安全部和NIST通力合作的成果,對推動關鍵基礎設施信息安全“邁出了一大步”,但“還遠不夠完美?!币驗閮H僅符合基礎要求是遠遠不夠的。