偉創(chuàng)軟件：辦公軟件專家

在線OA協(xié)同辦公系統(tǒng)專題

在線OA協(xié)同辦公系統(tǒng)：大數(shù)據(jù)挖掘的粒計算理論與方法

    從數(shù)據(jù)分析與處理層面看，粒計算通過將復(fù)雜數(shù)據(jù)進(jìn)行信息�；�，用信息粒代替樣本作為計算的基本單元，可大大提高計算效率。粒計算主要包括數(shù)據(jù)�；�、多粒度模式發(fā)現(xiàn)與融合、多粒度/跨粒度推理等核心研究內(nèi)容。大數(shù)據(jù)的表現(xiàn)性態(tài)、大數(shù)據(jù)挖掘面臨的挑戰(zhàn)、基于大數(shù)據(jù)的復(fù)雜問題建模與粒計算框架的契合之處主要表現(xiàn)在以下3個方面。

    1、大數(shù)據(jù)經(jīng)常具有多層次/多粒度特性

    1990年，我國著名科學(xué)家錢學(xué)森先生在其論文《一個科學(xué)新領(lǐng)域|| 開放的復(fù)雜巨系統(tǒng)及其方法》 中就指出： \只有一個層次或沒有層次結(jié)構(gòu)的事物稱為簡單的系統(tǒng)， 而子系統(tǒng)種類很多且有層次結(jié)構(gòu)，它們之間關(guān)聯(lián)關(guān)系又很復(fù)雜的系統(tǒng)稱為復(fù)雜巨系統(tǒng)。任何一個復(fù)雜系統(tǒng)都是一個具有層次結(jié)構(gòu)的系統(tǒng)"。Friedman 等在Science上發(fā)表的論文認(rèn)為在諸如復(fù)雜細(xì)胞網(wǎng)絡(luò)、蛋白質(zhì)互作用網(wǎng)絡(luò)等生物大數(shù)據(jù)中都廣泛存在著多層次、多尺度特性。Clauset 等在Nature上發(fā)表的論文也指出，在復(fù)雜社會網(wǎng)絡(luò)中也存在天然的層次結(jié)構(gòu)。Ahn等則專門研究了大數(shù)據(jù)的多尺度復(fù)雜性。著名社會網(wǎng)絡(luò)科學(xué)家Watts 在其提出的小世界網(wǎng)絡(luò)研究中，也指出網(wǎng)絡(luò)中嵌套的諸多社區(qū)內(nèi)部也滿足小世界網(wǎng)絡(luò)的要求。大數(shù)據(jù)往往來自于對復(fù)雜的自然/人工巨系統(tǒng)的觀測記錄，或者由人類社會系統(tǒng)借助網(wǎng)絡(luò)自主產(chǎn)生。這就意味著，反映復(fù)雜巨系統(tǒng)形態(tài)及運動規(guī)律的大數(shù)據(jù)必然隱含著由這些系統(tǒng)所決定的局部與整體關(guān)系，以及復(fù)雜的層次結(jié)構(gòu)，即數(shù)據(jù)的多粒度/多層次特性。

    2、挖掘任務(wù)通常呈現(xiàn)多層次/多粒度特性

    數(shù)據(jù)挖掘總是面向?qū)嶋H應(yīng)用的，即使面對同一個數(shù)據(jù)集，用戶需求的多層次/多粒度特性也決定了挖掘任務(wù)的多層次/多粒度特性。比如，在金融大數(shù)據(jù)領(lǐng)域，決策任務(wù)可能是面向國家層面、區(qū)域?qū)用妫�或者是地方層面的，甚至是面向某個銀行的；也可能是面向不同種類的存款、貸款，或理財產(chǎn)品。這就使得挖掘任務(wù)可能同時面向不同層面、不同方面。挖掘任務(wù)的多層次/多粒度特性必然要求數(shù)據(jù)挖掘工具不僅能夠從不同視角探索大數(shù)據(jù)不同層面隱含的模式，而且還能夠進(jìn)行復(fù)雜有效的融合、自動的跳轉(zhuǎn)，以及便捷的定制。

    3、大數(shù)據(jù)挖掘要求算法具有高效近似求解性

    在2012年出版的大數(shù)據(jù)著作《大數(shù)據(jù)時代： 生活、工作與思維的大變革》 中指出：大數(shù)據(jù)意味著所有數(shù)據(jù)。大數(shù)據(jù)是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。因此，大數(shù)據(jù)挖掘首先要解決\大數(shù)據(jù)能算的問題"，這就要求對大數(shù)據(jù)進(jìn)行合理的分解，即大數(shù)據(jù)集的�；�，然后采用并行處理策略， MapReduce 正是基于這種策略在大數(shù)據(jù)管理方面的實踐結(jié)果。

    基于大數(shù)據(jù)的復(fù)雜問題建模往往具有極其復(fù)雜的結(jié)構(gòu)，這就要求大數(shù)據(jù)挖掘算法能夠按照任務(wù)的要求自動地或人機(jī)交互地從大數(shù)據(jù)中抽取與組織出具有多層次/多局部特征的結(jié)構(gòu)，并能在這種復(fù)雜結(jié)構(gòu)上進(jìn)行推理，以達(dá)到挖掘的預(yù)期目標(biāo)。

    大數(shù)據(jù)挖掘算法的高效近似求解特性，主要來自于用戶對挖掘過程、挖掘結(jié)果的時效性要求，大數(shù)據(jù)的巨量增長性對在線挖掘技術(shù)提出了嚴(yán)峻挑戰(zhàn)。與傳統(tǒng)的小數(shù)據(jù)集上的挖掘與學(xué)習(xí)不同，大數(shù)據(jù)的混雜性、不確定性，以及高噪聲對\獨立同分布假設(shè)" 的破壞使得追求問題的最優(yōu)/精確解變得幾乎不可能，迫使我們轉(zhuǎn)向?qū)ふ覇栴}的滿意近似解。另一方面，滿意近似解在很多環(huán)境下已能很好地滿足實際應(yīng)用的需要，無需一味追求問題的最優(yōu)/精確解。

    綜上分析可知，從隱含于大數(shù)據(jù)中的結(jié)構(gòu)特征，大數(shù)據(jù)挖掘任務(wù)的類型特征，到大數(shù)據(jù)挖掘算法的性能特征，綜合這些角度，大數(shù)據(jù)挖掘的計算框架與粒計算所蘊含的計算范式具有高度契合性。鑒于這一認(rèn)識，可以推測： 粒計算將為大數(shù)據(jù)挖掘提供一條極具前途的嶄新途徑。