一、現(xiàn)狀&問題
重慶大數(shù)據(jù)可視化的解決方案,與普遍意義理解的大數(shù)據(jù)可視化不同,其面臨的問題又分兩個不同的層面:一是大數(shù)據(jù)層;二是可視化層。
大數(shù)據(jù)層面:
1. 大數(shù)據(jù)接入 即如何把不同渠道、不同格式的大數(shù)據(jù)接入進來,原始大數(shù)據(jù)不標準的結構化信息,不可以直接做可視化。
2. 大數(shù)據(jù)質量 即保證原大數(shù)據(jù)指標清晰、大數(shù)據(jù)內(nèi)容直觀、大數(shù)據(jù)無誤,使關心業(yè)務、關心大數(shù)據(jù)的人得到大數(shù)據(jù)里面的價值。
3.大數(shù)據(jù)查詢 大數(shù)據(jù)的呈現(xiàn)下,性能查詢、大數(shù)據(jù)的實施,如何解決大規(guī)模計算帶來的可視化挑戰(zhàn),包括易用性、大數(shù)據(jù)更新的頻率,特別是大數(shù)據(jù)場景下,大數(shù)據(jù)更新頻次非常高,這些都是全新的問題。
4.大數(shù)據(jù)安全 做大數(shù)據(jù)的人群,基本上都會建一個大數(shù)據(jù)中臺,但不同業(yè)務層面的整體的大數(shù)據(jù)倉庫一旦將不同來源的大數(shù)據(jù)匯集到一起,權限的問題是避不開的,不同的業(yè)務團隊及角色之間根據(jù)業(yè)務場景的不同,都有非常大的差異。如何去指標維度級的鑒權、行級、列級鑒權,還有公司內(nèi)部大數(shù)據(jù)交換的時候如何做脫敏都是我們面臨的問題。權限的控制有兩種,一是直接鑒權,二是后置審計。
可視化層面:核心主題
1. 組件 重慶大數(shù)據(jù)可視化過程中,我們要思考如何用組件化的方式做條件樣式、聯(lián)動、自定義的方式支持專業(yè)用戶的可視化。
2. 功能特性 我們應思考如何做到常見的維度切換、自由排版、區(qū)域分組聯(lián)動,最終使整個大數(shù)據(jù)可視化呈現(xiàn)形成一個活的頁面,更為關鍵的是,如何將分析的思路套進去。以期實現(xiàn)通過可視化平臺把相關的大數(shù)據(jù)思維與業(yè)務相結合,將專業(yè)用戶的分析思路和視角用一種平臺化的方式傳遞給業(yè)務同事,使分析的思路可復用化。
3. 預警和通知 我們希望將關鍵性的指標直接規(guī)則化,甚至系統(tǒng)內(nèi)置,跟原大數(shù)據(jù)平臺做打通,通過原大數(shù)據(jù)第一時間指示核心指標的異常波動,第一時間推送給相關的人員。
4. 多終端 多終端是體驗層面的提升,我們不僅希望做PC端的網(wǎng)頁頁面和移動端APP的數(shù)據(jù)查看,還希望做行業(yè)級大數(shù)據(jù)報告(不一定外發(fā)),內(nèi)部傳遞形成一個可復用的產(chǎn)品,把大數(shù)據(jù)的價值用更直觀、更互動性的方式呈現(xiàn)出來,最后實現(xiàn)多端分享和互動。
二、當前目標
1. 基礎功能 基礎功能就是常見大數(shù)據(jù)源的支持。
2. 靈活擴展 靈活擴展可用于解決前置大數(shù)據(jù)層面的接入,80%的問題用平臺化的方式解決,20%的問題提供插件化或者擴展的機制,即二八原則。
3. 體驗優(yōu)化 重慶大數(shù)據(jù)可視化不是C端服務,是專業(yè)的應用場景。關注點在功能和滿足業(yè)務訴求的層面,先談能解決,再談解決的好壞。
4. 平臺集成 我們希望重慶大數(shù)據(jù)平臺不只解決大數(shù)據(jù)可視化問題,對于如何把大數(shù)據(jù)從底層公共架構模型里面一層層剝下來,也是我們需要解決的問題。
5. 場景封裝 二八原則解決所有的業(yè)務后,接下來面臨的問題是場景的封裝和深入。解決了第一層的呈現(xiàn)問題以后,把大數(shù)據(jù)化運營的思路貫穿在重慶大數(shù)據(jù)可視化的最終結果里面,就是場景化的垂直封裝。
我們做的是一個組件、是一個工具、是一個平臺還是一個解決方案還是生態(tài)?在實際做決策的時候,前面三部分,甚至第四部分是都是要考慮到的,它會影響我們職業(yè)的里程碑。
最終決策的是結論,我們結論的優(yōu)先級如下:
1、滿足基礎功能
2、有可擴展性、二八原則,至少解決所有業(yè)務
3、工具優(yōu)先于平臺,先是工具,然后用平臺化的思路解決整個大數(shù)據(jù)流轉過程中的價值變化問題
4、上下游的集成
三、實現(xiàn)方案
1. 定制 正因為市場上,很多商業(yè)化產(chǎn)品并非銷售所說的那么優(yōu)異。重慶大數(shù)據(jù)的可視化類型又要做一些特別細粒度的優(yōu)化,所以我們基于這個考慮,為快速響應、滿足自身的需求,優(yōu)化自身的資源,我們采用少花錢的原則。畢竟商業(yè)化產(chǎn)品要付費,額外的定制費用同樣不菲。
2. 產(chǎn)品集成 重慶大數(shù)據(jù)可視化平臺希望和重慶企業(yè)大數(shù)據(jù)平臺做深度的集成。當公司面臨重大階段性問題的時候,如果只做簡單的服務是不行的,所以我們首先要重視大數(shù)據(jù)安全集成問題。 其次,分析引擎的集成問題也是我們要關注的。大多數(shù)做大數(shù)據(jù)可視化不一定有分析引擎的能力,異構大數(shù)據(jù)源的介入最常見的做法是給一個接入層,做簡單的驅動接入或者連接的配置,最后的查驗性能非常差。尤其多維分析,對大寬表的處理、高維大數(shù)據(jù)的降維可視化。所以分析引擎我們也是自己來進行定制、接入,我們內(nèi)部大數(shù)據(jù)庫的引擎,基于Hadoop生態(tài)有Hadoop或者這之上引入的開源場景等各種各樣的類型。
最后,我們還要關注大數(shù)據(jù)化運營產(chǎn)品的集成。比如我們的推薦平臺、大數(shù)據(jù)開放平臺、精準營銷平臺、廣告等,都會涉及大數(shù)據(jù)可視化的內(nèi)容,也都會借助大數(shù)據(jù)可視化的能力。只不過在某個特定的業(yè)務場景里面有這個訴求,包括機器學習、圖象識別等標簽的結果,都跟大數(shù)據(jù)可視化有關系。很多商業(yè)化的產(chǎn)品,在這個維度一定要定制開發(fā),內(nèi)部系統(tǒng)有些歷史包袱或者設計上的傳帶問題,都很難商業(yè)化做通用。
3. 復用 多點、大屏、PC、移動端等都可以頁面復用??梢暬慕M件可以復用,可視化的區(qū)塊在不同的業(yè)務場景里面都能用。這個復用不一定是平臺級的復用,甚至可以做讓業(yè)務系統(tǒng)、做區(qū)塊級的可視化集成。大數(shù)據(jù)接口層面的集成,既然對接公司的分析引擎,有統(tǒng)一的分析入口,完全可以做大數(shù)據(jù)服務化。重慶大數(shù)據(jù)在可視化平臺最終并不是簡單的呈現(xiàn),下面集成的分析引擎,下面對接的原大數(shù)據(jù),各級的服務都可以拆分做服務化和平臺化。