國內(nèi)很多關(guān)鍵行業(yè)應(yīng)用，如金融信息系統(tǒng)的許多關(guān)鍵設(shè)備都沒有采用國產(chǎn)產(chǎn)品，導(dǎo)致無法準確判斷其安全隱患，這使得我國信息化建設(shè)的安全底數(shù)不清。迫切需要國內(nèi)IT企業(yè)和行業(yè)共同研發(fā)自主可控、自主知識產(chǎn)權(quán)的信息系統(tǒng)、信息環(huán)境和信息安全產(chǎn)品。針對這種狀況國家銀監(jiān)會提出了“自主可控，持續(xù)發(fā)展，科技創(chuàng)新”的三大戰(zhàn)略，國產(chǎn)的信息化產(chǎn)品，在金融領(lǐng)域的應(yīng)用已經(jīng)開始了破冰之旅，事實證明，自主可控的軟硬件產(chǎn)品，在關(guān)鍵行業(yè)領(lǐng)域的應(yīng)用是可行的，但是缺乏完整的經(jīng)過驗證的整體解決方案和實際案例，無法復(fù)制和推廣。
行業(yè)大數(shù)據(jù)應(yīng)用的需求分析：
�。�1）面向多源異構(gòu)業(yè)務(wù)數(shù)據(jù)的采集和管理需求
以在客戶信息為例，行業(yè)內(nèi)的集團企業(yè)經(jīng)常會面臨急需解決的數(shù)據(jù)集成問題，企業(yè)存在大量分散的客戶信息資源，并由各系統(tǒng)自主采集和維護，沒有良好的共享體系，客戶信息、訂單信息等異構(gòu)的存在不同數(shù)據(jù)源中，沒有橫跨多個業(yè)務(wù)領(lǐng)域的客戶信息的統(tǒng)一管理和分發(fā)體系。因此，要求統(tǒng)一建設(shè)行業(yè)信息大數(shù)據(jù)管理系統(tǒng)，是一套為所有在線業(yè)務(wù)服務(wù)的、整合的行業(yè)信息大數(shù)據(jù)管理與分析系統(tǒng)，并具有行業(yè)先進水平的大數(shù)據(jù)管理和分析能力，以滿足企業(yè)形成市場競爭優(yōu)勢的要求。
（2）針對海量異構(gòu)大數(shù)據(jù)的高性能存儲需求
通過調(diào)研發(fā)現(xiàn)很多大型企業(yè)的信息系統(tǒng)已經(jīng)積累了大量的業(yè)務(wù)數(shù)據(jù)，而且隨著業(yè)務(wù)拓展的需求，大數(shù)據(jù)分析的數(shù)據(jù)源已經(jīng)不僅局限于企業(yè)內(nèi)部，如對客戶流失分析或者產(chǎn)品銷售趨勢預(yù)測，就還需要互聯(lián)網(wǎng)社交網(wǎng)絡(luò)或者電商消費信息等。這些多源、異構(gòu)、海量的數(shù)據(jù)對于大數(shù)據(jù)平臺的存儲提出了極高的要求。以某大型企業(yè)集團的客戶和生產(chǎn)經(jīng)營信息為例，數(shù)據(jù)規(guī)模已經(jīng)達到上百T B容量，且相關(guān)數(shù)據(jù)量，特別是生產(chǎn)線的傳感器數(shù)據(jù)和用戶行為等數(shù)據(jù)還在持續(xù)大幅增長。
（3）多樣性大數(shù)據(jù)分析和處理需求
大數(shù)據(jù)分析系統(tǒng)不但集成了多個系統(tǒng)的數(shù)據(jù)源，未來大數(shù)據(jù)分析應(yīng)用系統(tǒng)也會被多個部門，多個業(yè)務(wù)中使用，而且不同的部門和不同業(yè)務(wù)對大數(shù)據(jù)分析處理 的響應(yīng)時間、數(shù)據(jù)量、結(jié)果準確程度以及具體的分析算法都會有很大差異。因此需要完整的對這些分析和處理需求進行分析，以便于設(shè)計滿足當(dāng)前和潛在需求的大數(shù)據(jù)分析處理架構(gòu)。
（4）行業(yè)大數(shù)據(jù)的安全監(jiān)控和隱私保護需求
面向行業(yè)和企業(yè)的大數(shù)據(jù)平臺都將集成來自于不同數(shù)據(jù)源的數(shù)據(jù)，其中有很多數(shù)據(jù)會涉及商業(yè)秘密和個人隱私等安全問題，所以這些數(shù)據(jù)在大數(shù)據(jù)平臺中應(yīng)該被合理的授權(quán)使用，并有完善的安全監(jiān)控和隱私保護措施，以避免引起數(shù)據(jù)泄密或者隱私糾紛。
（5）行業(yè)大數(shù)據(jù)平臺的業(yè)務(wù)應(yīng)用和可視化展現(xiàn)的需求
大數(shù)據(jù)分析的結(jié)果是更好的支持業(yè)務(wù)推廣和運營決策，所以企業(yè)大數(shù)據(jù)分析還是要和現(xiàn)有的業(yè)務(wù)應(yīng)用緊密結(jié)合，并且以簡單友好的操作，以及可視化的方式直觀的展現(xiàn)分析結(jié)果，這樣才能被各部門和各級別的人員使用好大數(shù)據(jù)系統(tǒng)。
基于自主可控服務(wù)器的大數(shù)據(jù)基礎(chǔ)架構(gòu)研究 通過行業(yè)大數(shù)據(jù)需求和數(shù)據(jù)現(xiàn)狀的調(diào)研和測算，大數(shù)據(jù)基礎(chǔ)平臺如采用傳統(tǒng)的集中數(shù)據(jù)庫Oracle+小型機+集中式存儲環(huán)境，將無法滿足大數(shù)據(jù)在存儲和分析處理方面的需求，而且采用國外進口設(shè)備為主的方式也無法保證系統(tǒng)數(shù)據(jù)的安全和自主可控，國外小型機和存儲的硬件成本過高，投入產(chǎn)出比低。因此本文研究對比了主流的大數(shù)據(jù)硬件方案，提出基于國產(chǎn)主機的行業(yè)大數(shù)據(jù)基礎(chǔ)平臺，包括分布式Hadoop大數(shù)據(jù)存儲和處理集群、分布式海量數(shù)據(jù)采集集群和應(yīng)用與可視化展現(xiàn)服務(wù)器集群架構(gòu)研究，形成滿足行業(yè)大數(shù)據(jù)應(yīng)用的基礎(chǔ)硬件平臺技術(shù)方案。
通過項目前期技術(shù)研究和分析，我們發(fā)現(xiàn)傳統(tǒng)數(shù)據(jù)倉庫模式進行行大數(shù)據(jù)分析在軟件平臺方面是不能滿足性能、容量和成本方面的需求的。為此，我們對大數(shù)據(jù)軟件平臺進行充分對比研究，重點研究了國內(nèi)面向行業(yè)的大數(shù)據(jù)平臺的軟件基礎(chǔ)架構(gòu)，包括操作系統(tǒng)、分布式文件系統(tǒng)、列式數(shù)據(jù)庫、批處理框架、內(nèi)存計算引擎、資源調(diào)度、安全管控等方面的研究。形成了滿足行業(yè)大數(shù)據(jù)應(yīng)用的基礎(chǔ)軟件平臺技術(shù)方案。
我們研究和評估了基于國產(chǎn)操作系統(tǒng)和基于開源自主可控的大數(shù)據(jù)平臺基礎(chǔ)軟件架構(gòu)，操作系統(tǒng)層面可以支持國產(chǎn)Linux和Unix操作系統(tǒng)。大數(shù)據(jù)基礎(chǔ)軟件架構(gòu)采用了大量的組件實現(xiàn)大數(shù)據(jù)的存儲、計算、分析和管理功能，如上圖所示。
在大數(shù)據(jù)軟件架構(gòu)中設(shè)計通過分布式ETL工具各業(yè)務(wù)系統(tǒng)完成數(shù)據(jù)采集，支持結(jié)構(gòu)化數(shù)據(jù)以及非/半結(jié)構(gòu)化數(shù)據(jù)，即數(shù)據(jù)庫數(shù)據(jù)、文件、日志等類型，采集數(shù)據(jù)包括全量歷史數(shù)據(jù)遷移以及增量數(shù)據(jù)同步。未來保證數(shù)據(jù)質(zhì)量和數(shù)據(jù)溯源，采集過程中需要對數(shù)據(jù)質(zhì)量分析、治理。
架構(gòu)中設(shè)計了數(shù)據(jù)分層存儲的解決方案，對于需要進行持久化存儲的數(shù)據(jù)（離線保存3年以上）和非結(jié)構(gòu)化數(shù)據(jù)，可直接在H DFS中存放，以數(shù)據(jù)倉庫ORC表形式存儲；需要挖掘或檢索管理的數(shù)據(jù)放入HBase列式數(shù)據(jù)庫中，并支持與傳統(tǒng)數(shù)據(jù)庫互導(dǎo)，系統(tǒng)會自動完成多個數(shù)據(jù)副本的拷貝，從而實現(xiàn)冗余備份；對于需要快速實時交互式分析 的數(shù)據(jù)以Cube的形式存儲在SSD或內(nèi)存中，可以提供快速交互式分析能力。
架構(gòu)中還包括了數(shù)據(jù)分析功能和組件，對需要進行數(shù)據(jù)關(guān)聯(lián)分析和數(shù)據(jù)挖掘等涉及大數(shù)據(jù)量的統(tǒng)計和查詢需求的應(yīng)用，可選用Mahout，R等數(shù)據(jù)分析和數(shù)據(jù)挖掘工具。
在金融領(lǐng)域，已經(jīng)利用大數(shù)據(jù)技術(shù)解決詐騙檢驗、IT風(fēng)險管理和自助服務(wù)等問題，未來大數(shù)據(jù)技術(shù)將會起到越來越重要的作用。
..
|
