Platform MapReduce助企業(yè)挑戰(zhàn)"大數(shù)據(jù)" |
發(fā)布時間: 2012/9/10 14:47:23 |
這是一個數(shù)據(jù)爆炸的時代!IDC在最近的一次調(diào)研中,對數(shù)據(jù)的增長做了一個粗略的估計:到今年年末將有1.8萬億字節(jié)的數(shù)據(jù)存放于50億個文件中,IDC據(jù)此估計,到2015年將產(chǎn)生7.9千萬億兆字節(jié)的數(shù)據(jù)。
數(shù)據(jù)量太龐大了,即使是最快的IT系統(tǒng)也跟不上收集數(shù)據(jù)的速度。而所有的這些信息需要篩選、處理并集成,最后進行分析,才能為企業(yè)帶來價值。因此,如何把這些數(shù)據(jù)轉(zhuǎn)變成有用信息成為企業(yè)亟待解決的問題。 "大數(shù)據(jù)"問題的由來 一直以來,IT人員都是通過面向批處理的數(shù)據(jù)倉庫架構來提供及時的數(shù)據(jù)分析,但在今天,隨著數(shù)據(jù)量的激增和新數(shù)據(jù)類型及其所需的數(shù)據(jù)處理方法,這種架構已經(jīng)不堪重負了,這是因為,現(xiàn)有的數(shù)據(jù)倉庫是為結構化數(shù)據(jù)構建的,非結構化數(shù)據(jù)并不適合這種架構模式,但實現(xiàn)的情況是:80%的數(shù)據(jù)是非結構化的。移動和修改海量的非結構化數(shù)據(jù)將耗費大量的人力物力,因而無法將非結構化數(shù)據(jù)轉(zhuǎn)換成必要的結構以方便抽取。 除此之外,為了滿足新興的業(yè)務需求,IT部門還需要采用新的方法來訪問、處理和分析多種類型的非結構化數(shù)據(jù)及相關架構,并且應當以企業(yè)級的高標準來完成。如果沒有一種靈活的企業(yè)級方法來訪問、處理和分析非結構化數(shù)據(jù)并據(jù)此作出明智的業(yè)務決策,那么沒有內(nèi)在價值的數(shù)據(jù)會讓IT部門不堪重負--這就是我們今天面臨的"大數(shù)據(jù)"問題。 企業(yè)級"大數(shù)據(jù)"解決方案 根據(jù)2011 TDWI的一份調(diào)查,34%的企業(yè)開始使用大數(shù)據(jù)分析來幫助制定決策。MapReduce無疑是解決"大數(shù)據(jù)"問題最受關注的新一代技術。MapReduce提供了在計算集群下分布處理大數(shù)據(jù)的軟件框架,利用MapReduce解決方案,開發(fā)人員可以開發(fā)出運行在分布式集群上,能夠并行處理海量非結構化數(shù)據(jù)的程序。 一個企業(yè)級的MapReduce應該提供以下功能: 能夠在整個企業(yè)范圍內(nèi)部署和運行數(shù)據(jù)抽取和分析程序。 管理和監(jiān)控大規(guī)模環(huán)境。 包括一個負載管理系統(tǒng)以確保服務質(zhì)量,并根據(jù)業(yè)務目標,確定應用的優(yōu)先級。 可為多個MapReduce用戶和業(yè)務部門提供服務,可能還需為其他分布式處理提供服務。 具備一定的靈活性,可根據(jù)特定的應用需求來選擇合適的存儲和文件系統(tǒng)。 由于在性能和擴展性方面存在不足,現(xiàn)有的MapReduce解決方案還難以滿足企業(yè)通過MapReduce對龐大的異構數(shù)據(jù)集執(zhí)行分布式計算需求。 為了滿足將MapReduce應用遷移至生產(chǎn)環(huán)境的需求,全球領先的集群、網(wǎng)格、云中間件和云管理平臺提供商--Platform公司已經(jīng)將其企業(yè)級的工作負載管理功能引入到"大數(shù)據(jù)"領域。 Platform MapReduce是Platform公司最新交付的業(yè)界首款針對MapReduce應用程序的企業(yè)級分布式運行引擎,基于該公司近二十年來在分布式架構管理領域積累的豐富經(jīng)驗以及Platform Symphony核心技術而構建,能夠幫助企業(yè)克服將應用程序轉(zhuǎn)移至生產(chǎn)環(huán)境的一切障礙,非常適用于跨分布式文件系統(tǒng)的企業(yè)級運行服務。 作為一種分布式計算平臺,Platform MapReduce支持開放應用架構,該架構支持企業(yè)采用的多種分布式文件系統(tǒng)。它的企業(yè)級功能包括:每個MapReduce應用能夠擴展至數(shù)千個處理器、能以非常高的速度運行、能夠在為多個業(yè)務部門用戶控制負載策略的同時為IT提供可管理性和監(jiān)控能力,它還有內(nèi)置的高可用性服務,以確保必要的服務質(zhì)量。 本文出自:億恩科技【xuefeilisp.com】 |