“大數(shù)據(jù)”通常指的是那些數(shù)量巨大、難于收集、處理、分析的數(shù)據(jù)集，亦指那些在傳統(tǒng)基礎(chǔ)設(shè)施中長(zhǎng)期保存的數(shù)據(jù)。這里的“大”有幾層含義，它可以形容組織的大小，而更重要的是，它界定了企業(yè)中IT基礎(chǔ)設(shè)施的規(guī)模。業(yè)內(nèi)對(duì)大數(shù)據(jù)應(yīng)用寄予了無限的期望商業(yè)信息積累的越多價(jià)值也越大只不過我們需要一個(gè)方法把這些價(jià)值挖掘出來。
為什么現(xiàn)在要大數(shù)據(jù)?
與以往相比，我們除了有能力存儲(chǔ)更多的數(shù)據(jù)量之外，還要面對(duì)更多的數(shù)據(jù)類型。這些數(shù)據(jù)的來源包括網(wǎng)上交易、網(wǎng)絡(luò)社交活動(dòng)、自動(dòng)傳感器、移動(dòng)設(shè)備以及科學(xué)儀器等等。除了那些固定的數(shù)據(jù)生產(chǎn)源，各種交易行為還可能加快數(shù)據(jù)的積累速度。比如說，社交類多媒體數(shù)據(jù)的爆炸性增長(zhǎng)就源于新的網(wǎng)上交易和記錄行為。數(shù)據(jù)永遠(yuǎn)都在增長(zhǎng)之中，但是，只有存儲(chǔ)海量數(shù)據(jù)的能力是不夠的，因?yàn)檫@并不能保證我們能夠成功地從中搜尋出商業(yè)價(jià)值。
1、數(shù)據(jù)是重要的生產(chǎn)要素
信息時(shí)代，數(shù)據(jù)儼然已成為一種重要的生產(chǎn)要素，如同資本、勞動(dòng)力和原材料等其他要素一樣，而且作為一種普遍需求，它也不再局限于某些特殊行業(yè)的應(yīng)用。各行各業(yè)的公司都在收集并利用大量的數(shù)據(jù)分析結(jié)果，盡可能的降低成本，提高產(chǎn)品質(zhì)量、提高生產(chǎn)效率以及創(chuàng)造新的產(chǎn)品。例如，通過分析直接從產(chǎn)品測(cè)試現(xiàn)場(chǎng)收集的數(shù)據(jù)，能夠幫助企業(yè)改進(jìn)設(shè)計(jì)。此外，一家公司還可以通過深入分析客戶行為，對(duì)比大量的市場(chǎng)數(shù)據(jù)，從而超越他的競(jìng)爭(zhēng)對(duì)手。
2、存儲(chǔ)技術(shù)必須跟上
隨著大數(shù)據(jù)應(yīng)用的爆發(fā)性增長(zhǎng)，它已經(jīng)衍生出了自己獨(dú)特的架構(gòu)，而且也直接推動(dòng)了存儲(chǔ)、網(wǎng)絡(luò)以及計(jì)算技術(shù)的發(fā)展。畢竟處理大數(shù)據(jù)這種特殊的需求是一個(gè)新的挑戰(zhàn)。硬件的發(fā)展最終還是由軟件需求推動(dòng)的，就這個(gè)例子來說，我們很明顯的看到大數(shù)據(jù)分析應(yīng)用需求正在影響著數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施的發(fā)展。
從另一方面看，這一變化對(duì)存儲(chǔ)廠商和其他IT基礎(chǔ)設(shè)施廠商未嘗不是一個(gè)機(jī)會(huì)。隨著結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)量的持續(xù)增長(zhǎng)，以及分析數(shù)據(jù)來源的多樣化，此前存儲(chǔ)系統(tǒng)的設(shè)計(jì)已經(jīng)無法滿足大數(shù)據(jù)應(yīng)用的需要。存儲(chǔ)廠商已經(jīng)意識(shí)到這一點(diǎn)，他們開始修改基于塊和文件的存儲(chǔ)系統(tǒng)的架構(gòu)設(shè)計(jì)以適應(yīng)這些新的要求。在這里，我們會(huì)討論哪些與大數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施相關(guān)的屬性，看看它們?nèi)绾斡哟髷?shù)據(jù)的挑戰(zhàn)。
3、容量問題
這里所說的“大容量”通�？蛇_(dá)到PB級(jí)的數(shù)據(jù)規(guī)模，因此，海量數(shù)據(jù)存儲(chǔ)系統(tǒng)也一定要有相應(yīng)等級(jí)的擴(kuò)展能力。與此同時(shí)，存儲(chǔ)系統(tǒng)的擴(kuò)展一定要簡(jiǎn)便，可以通過增加模塊或磁盤柜來增加容量，甚至不需要停機(jī)�；谶@樣的需求，客戶現(xiàn)在越來越青睞Scale-out架構(gòu)的存儲(chǔ)。Scale- out集群結(jié)構(gòu)的特點(diǎn)是每個(gè)節(jié)點(diǎn)除了具有一定的存儲(chǔ)容量之外，內(nèi)部還具備數(shù)據(jù)處理能力以及互聯(lián)設(shè)備，與傳統(tǒng)存儲(chǔ)系統(tǒng)的煙囪式架構(gòu)完全不同，Scale- out架構(gòu)可以實(shí)現(xiàn)無縫平滑的擴(kuò)展，避免存儲(chǔ)孤島。
“大數(shù)據(jù)”應(yīng)用除了數(shù)據(jù)規(guī)模巨大之外，還意味著擁有龐大的文件數(shù)量。因此如何管理文件系統(tǒng)層累積的元數(shù)據(jù)是一個(gè)難題，處理不當(dāng)?shù)脑挄?huì)影響到系統(tǒng)的擴(kuò)展能力和性能，而傳統(tǒng)的NAS系統(tǒng)就存在這一瓶頸。所幸的是，基于對(duì)象的存儲(chǔ)架構(gòu)就不存在這個(gè)問題，它可以在一個(gè)系統(tǒng)中管理十億級(jí)別的文件數(shù)量，而且還不會(huì)像傳統(tǒng)存儲(chǔ)一樣遭遇元數(shù)據(jù)管理的困擾。基于對(duì)象的存儲(chǔ)系統(tǒng)還具有廣域擴(kuò)展能力，可以在多個(gè)不同的地點(diǎn)部署并組成一個(gè)跨區(qū)域的大型存儲(chǔ)基礎(chǔ)架構(gòu)。
4、延遲問題
“大數(shù)據(jù)”應(yīng)用還存在實(shí)時(shí)性的問題。特別是涉及到與網(wǎng)上交易或者金融類相關(guān)的應(yīng)用。舉個(gè)例子來說，網(wǎng)絡(luò)成衣銷售行業(yè)的在線廣告推廣服務(wù)需要實(shí)時(shí)的對(duì)客戶的瀏覽記錄進(jìn)行分析，并準(zhǔn)確的進(jìn)行廣告投放。這就要求存儲(chǔ)系統(tǒng)在必須能夠支持上述特性同時(shí)保持較高的響應(yīng)速度，因?yàn)轫憫?yīng)延遲的結(jié)果是系統(tǒng)會(huì)推送“過期”的廣告內(nèi)容給客戶。這種場(chǎng)景下，Scale-out架構(gòu)的存儲(chǔ)系統(tǒng)就可以發(fā)揮出優(yōu)勢(shì)，因?yàn)樗拿恳粋�(gè)節(jié)點(diǎn)都具有處理和互聯(lián)組件，在增加容量的同時(shí)處理能力也可以同步增長(zhǎng)。而基于對(duì)象的存儲(chǔ)系統(tǒng)則能夠支持并發(fā)的數(shù)據(jù)流，從而進(jìn)一步提高數(shù)據(jù)吞吐量。
有很多“大數(shù)據(jù)”應(yīng)用環(huán)境需要較高的IOPS性能，比如HPC高性能計(jì)算。此外，服務(wù)器虛擬化的普及也導(dǎo)致了對(duì)高IOPS的需求，正如它改變了傳統(tǒng)IT環(huán)境一樣。為了迎接這些挑戰(zhàn)，各種模式的固態(tài)存儲(chǔ)設(shè)備應(yīng)運(yùn)而生，小到簡(jiǎn)單的在服務(wù)器內(nèi)部做高速緩存，大到全固態(tài)介質(zhì)的可擴(kuò)展存儲(chǔ)系統(tǒng)等等都在蓬勃發(fā)展。
并發(fā)訪問一旦企業(yè)認(rèn)識(shí)到大數(shù)據(jù)分析應(yīng)用的潛在價(jià)值，他們就會(huì)將更多的數(shù)據(jù)集納入系統(tǒng)進(jìn)行比較，同時(shí)讓更多的人分享并使用這些數(shù)據(jù)。為了創(chuàng)造更多的商業(yè)價(jià)值，企業(yè)往往會(huì)綜合分析那些來自不同平臺(tái)下的多種數(shù)據(jù)對(duì)象。包括全局文件系統(tǒng)在內(nèi)的存儲(chǔ)基礎(chǔ)設(shè)施就能夠幫助用戶解決數(shù)據(jù)訪問的問題，全局文件系統(tǒng)允許多個(gè)主機(jī)上的多個(gè)用戶并發(fā)訪問文件數(shù)據(jù)，而這些數(shù)據(jù)則可能存儲(chǔ)在多個(gè)地點(diǎn)的多種不同類型的存儲(chǔ)設(shè)備上。 ..
|
