大數(shù)據(jù)的核心在于共享
大數(shù)據(jù)之父舍恩伯格說“大數(shù)據(jù)的核心要義在于共享。”
我們的各級政府、公共機構(gòu)匯集了存量大、質(zhì)量好、增長速度快、與社會公眾關(guān)系密切的海量數(shù)據(jù)資源。除了部分分享自用和信息公開外，大部分沒有充分發(fā)揮數(shù)據(jù)源作為“生產(chǎn)要素、無形資產(chǎn)和社會財富”應(yīng)有的作用。究其原因，主要表現(xiàn)在三個方面：
第一，不愿共享開放。這是一個認(rèn)識問題，政府部門和公共機構(gòu)未意識到共享開放價值。另一方面利益分配的問題，有的政府部門和公共機構(gòu)把自己掌握和獲取的數(shù)據(jù)當(dāng)做權(quán)力和利益，更甚的作為私有財產(chǎn)不愿共享。這造成不同機構(gòu)之間甚至部門之間都難以實現(xiàn)數(shù)據(jù)共享。另外，相關(guān)法律法規(guī)、制度標(biāo)準(zhǔn)相對落后，沒有形成管理體系。
第二，不敢共享開放。由于缺乏嚴(yán)格規(guī)范的數(shù)據(jù)相關(guān)法規(guī)，從事此項工作人員擔(dān)心政務(wù)數(shù)據(jù)共享會引起信息安全問題，擔(dān)心數(shù)據(jù)泄密失控，對開放有恐懼。
第三，不會共享開放。這是一個專業(yè)化工作。數(shù)據(jù)封閉、信息孤島等系列問題均是共享開放不當(dāng)引起。相反，不該共享開放卻為之會帶來更大的損失，甚至威脅到國家安全。
目前，持觀望態(tài)度為主流。大數(shù)據(jù)的發(fā)展如何真正步入實踐，落地操作成為一大問題。
迫在眉睫：如今的大數(shù)據(jù)需要哪種人才？
(1)大數(shù)據(jù)系統(tǒng)研發(fā)工程師
這一專業(yè)人才負(fù)責(zé)大數(shù)據(jù)系統(tǒng)研發(fā)，包括大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)模型構(gòu)建、大數(shù)據(jù)存儲、數(shù)據(jù)庫構(gòu)設(shè)、優(yōu)化數(shù)據(jù)庫構(gòu)架、解決數(shù)據(jù)庫中心設(shè)計等，同時，還要負(fù)責(zé)數(shù)據(jù)集群的日常運作和系統(tǒng)的監(jiān)測等，這一類人才是任何構(gòu)設(shè)大數(shù)據(jù)系統(tǒng)的機構(gòu)都必須的。
(2)大數(shù)據(jù)應(yīng)用開發(fā)工程師
此類人才負(fù)責(zé)搭建大數(shù)據(jù)應(yīng)用平臺以及開發(fā)分析應(yīng)用程序，他們必須熟悉工具或算法、編程、優(yōu)化以及部署不同的MapReduce，他們研發(fā)各種基于大數(shù)據(jù)技術(shù)的應(yīng)用程序及行業(yè)解決方案。其中，ETL開發(fā)者是很搶手的人才，他們所做的是從不同的源頭抽取數(shù)據(jù)，轉(zhuǎn)換并導(dǎo)入數(shù)據(jù)倉庫以滿足企業(yè)的需要，將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎(chǔ)，為提取各類型的需要數(shù)據(jù)創(chuàng)造條件。
(3)大數(shù)據(jù)分析師
此類人才主要從事數(shù)據(jù)挖掘工作，運用算法來解決和分析問題，讓數(shù)據(jù)顯露出真相，同時，他們還推動數(shù)據(jù)解決方案的不斷更新。隨著數(shù)據(jù)集規(guī)模不斷增大，企業(yè)對Hadoop及相關(guān)的廉價數(shù)據(jù)處理技術(shù)如Hive、HBase、MapReduce、Pig等的需求將持續(xù)增長，具備Hadoop框架經(jīng)驗的技術(shù)人員是最搶手的大數(shù)據(jù)人才，他們所從事的是熱門的分析師工作。
(4)數(shù)據(jù)可視化工程師
此類人才負(fù)責(zé)在收集到的高質(zhì)量數(shù)據(jù)中，利用圖形化的工具及手段的應(yīng)用，清楚地揭示數(shù)據(jù)中的復(fù)雜信息，幫助用戶更好地進行大數(shù)據(jù)應(yīng)用開發(fā)，如果能使用新型數(shù)據(jù)可視化工具如Spotifre，Qlikview和Tableau，那么，就成為很受歡迎的人才。
(5)數(shù)據(jù)安全研發(fā)人才
此類人才主要負(fù)責(zé)企業(yè)內(nèi)部大型服務(wù)器、存儲、數(shù)據(jù)安全管理工作，并對網(wǎng)絡(luò)、信息安全項目進行規(guī)劃、設(shè)計和實施，而對于數(shù)據(jù)安全方面的具體技術(shù)的人才就更需要了，如果數(shù)據(jù)安全技術(shù)，同時又具有較強的管理經(jīng)驗，能有效地保證大數(shù)據(jù)構(gòu)設(shè)和應(yīng)用單位的數(shù)據(jù)安全，那就是搶手的人才
(6)數(shù)據(jù)科學(xué)研究人才
數(shù)據(jù)科學(xué)研究是一個全新的工作，夠?qū)挝弧⑵髽I(yè)的數(shù)據(jù)和技術(shù)轉(zhuǎn)化為有用的商業(yè)價值，隨著大數(shù)據(jù)時代的到來，越來越多的工作、事務(wù)直接涉及或針對數(shù)據(jù)，這就需要有數(shù)據(jù)科學(xué)方面的研究專家來進行研究，通過研究，他們能將數(shù)據(jù)分析結(jié)果解釋給IT部門和業(yè)務(wù)部門管理者聽，數(shù)據(jù)科學(xué)專家是聯(lián)通海量數(shù)據(jù)和管理者之間的橋梁，需要有數(shù)據(jù)專業(yè)、分析師能力和管理者的知識，這也是搶手的人才。
凡事有利弊。打開窗，收獲的不只新鮮空氣，還有蒼蠅和蚊蟲。大數(shù)據(jù)開啟了一個大規(guī)模生產(chǎn)、分享和應(yīng)用數(shù)據(jù)的時代，它給技術(shù)和商業(yè)帶來了巨大的變化。在大數(shù)據(jù)時代背景下，如何從大數(shù)據(jù)中采集出有用的信息已經(jīng)是大數(shù)據(jù)發(fā)展的關(guān)鍵因素之一。
..
|
