面對(duì)領(lǐng)域大數(shù)據(jù)，在全生命周期的一體化協(xié)同環(huán)境下的大數(shù)據(jù)采集、存儲(chǔ)、管理及分析處理都將面臨著前所未有的挑戰(zhàn)，具體而言，面臨以下難題： 1）大數(shù)據(jù)采集問(wèn)題。如何將大數(shù)據(jù)變小，在盡量不損失價(jià)值的情況下減少數(shù)據(jù)的規(guī)模，像數(shù)據(jù)的清洗、去除等等，即如何有效地處理大數(shù)據(jù)類似物理的作用，把大數(shù)據(jù)的規(guī)模變小但不損失價(jià)值；如何從一個(gè)平面的大數(shù)據(jù)提煉出高附加值的概念、知識(shí)和智慧。 2）大數(shù)據(jù)存儲(chǔ)問(wèn)題。對(duì)于結(jié)構(gòu)化數(shù)據(jù)，海量數(shù)據(jù)的查詢、統(tǒng)計(jì)、更新效率低；對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，如圖片、視頻等文件的存儲(chǔ)、檢索困難；對(duì)于半結(jié)構(gòu)化數(shù)據(jù)，進(jìn)行存儲(chǔ)、分析需要轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，或者按照非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)，難度較大。 3）大數(shù)據(jù)管理問(wèn)題。如何對(duì)分布、多態(tài)、異構(gòu)的大數(shù)據(jù)進(jìn)行管理，當(dāng)前還缺乏有效手段。 4）大數(shù)據(jù)分析處理問(wèn)題。分布式計(jì)算、并行計(jì)算能夠提供有效支持，而如何有效利用現(xiàn)有分布式、并行技術(shù)開(kāi)展大數(shù)據(jù)的分析處理有待研究。 5）大數(shù)據(jù)領(lǐng)域應(yīng)用問(wèn)題。如何應(yīng)用大數(shù)據(jù)輔助具體的領(lǐng)域應(yīng)用，如：快速開(kāi)展治安防控、警情研判及指揮決策。同時(shí)，如何發(fā)掘行業(yè)信息資源價(jià)值，提高領(lǐng)域大數(shù)據(jù)的利用率亟待研究。
|
