文章內容

云關鍵技術及基于Hadoop的云計算模型研究

發(fā)布時間: 2012/8/6 14:06:49

云計算是由企業(yè)界開始發(fā)展，然后才進入學術界引起重視的，這與網(wǎng)格計算相反。經(jīng)過對迄今為止的云計算相關學術論文進行統(tǒng)計分析后，顯示學術界對于云計算的研究主要集中在云技術關鍵技術方面。云計算研究的關鍵技術包括虛擬機、安全管理、數(shù)據(jù)管理、云監(jiān)測、能耗管理和計算模型等。云計算的計算模型是研究如何針對某類應用特點提出效率更高的編程方式，目前云計算模型眾多，而Hadoop是一個開源的分布式系統(tǒng)基本架構，正日益成為具有較強實用性的開發(fā)平臺．淘寶就是國內率先使用Hadoop的公司之一。

1 云計算關鍵技術

1．1 虛擬機

虛擬機是云計算的關鍵技術之一。目前在云計算中使用的主要虛擬機之一就是VMware Infrastructure。它是一個虛擬數(shù)據(jù)中心操作系統(tǒng)，可以將離散的硬件資源統(tǒng)一起來以創(chuàng)建共享平臺。其優(yōu)點有：①整合服務器以降低IT成本；②暗哨計劃內和計劃外停機以改進業(yè)務連續(xù)性；⑧運行較少的服務器并且動態(tài)關閉不使用的服務器。

1．2 安全管理

云計算是計算機資源的整合，通過云計算設施中的任何一臺計算機，任何隱私信息都能夠被找到。云計算安全問題已經(jīng)成為急需解決的重要問題。其中，Siani Persion等提出了在云計算服務設計過程中保護用戶隱私的一些設計原則：① 發(fā)送盡量少的個人信息到云中，或者對系統(tǒng)進行分析后只對一小部分個人信息進行必要的收集和采集；② 采用安全措施防止未授權的訪問、復制、使用或者修改個人信息來保護云中的個人信息：③最大限度地實現(xiàn)用戶控制。在云計算環(huán)境中，讓用戶完全控制個人信息是比較困難的。要加強對個人信息的控制：一可以允許用戶控制最重要的個人信息；二可以委托信任的第三方來管理：④允許用戶對個人信息的使用進行選擇，即加入、退出機制；⑤明確以及限制數(shù)據(jù)使用的目的。個人信息必須被身份明確的人使用和處理；⑥有反饋機制。即設計人及界面清楚地表明云服務中采取的安全措施，用其向用戶提供安全提示。

1．3 數(shù)據(jù)管理

云計算具有計算能力可變、數(shù)據(jù)儲存在不信任的主機上、數(shù)據(jù)是遠程復制等3個特點。從這3個特點分析而出，只有兩種數(shù)據(jù)管理應用程序可能適合部署到云計算中：一是和事務處理相關的數(shù)據(jù)管理系統(tǒng)：另一種是和分析相關的數(shù)據(jù)管理系統(tǒng)。前者未采用共享的體系結構，在進行遠程數(shù)據(jù)復制時很難滿足ACID的需求，同時在不信任的主機上存儲數(shù)據(jù)也有比較大的風險。ACID要求對于基于分析的數(shù)據(jù)管理系統(tǒng)來說不是必須的，同時可以保證敏感數(shù)據(jù)在分析之外，從而保證其安全。因此，基于分析的數(shù)據(jù)管理系統(tǒng)應該很合適部署到云計算環(huán)境中去。

1.4 云監(jiān)測和能耗管理

云監(jiān)測是隨著云計算的推廣、云設施不斷增加、為了更好地體現(xiàn)云計算的強大計算處理能力而設置的對虛擬機監(jiān)控的能力：能耗管理是如何節(jié)省云設施中計算設施所需要的能源、有效整合資源、降低成本。

1．5 云計算的計算模型

現(xiàn)行的分布式計算系統(tǒng)可以提供強大的計算能力．但非專業(yè)用戶并不能有效地利用，一個龐大的任務很可能由于初學者的偶然操作導致性能的大幅下降。為了解決這些問題，應該提供給用戶一個高度抽象的產(chǎn)品系統(tǒng)．這些就是云計算的計算模型。提到云計算模型，就不得不說一個開源框架，那就是Hadoop。

Hadoop是一個分布式系統(tǒng)基本架構。由Apache開發(fā)，使用戶在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。簡單點說。Hadoop是一個可以更容易開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。

Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop DistributedFile System），簡稱HDFS。HDFS有著高容錯性的特點，并且設計用來部署在低廉的硬件上。而且它提供高傳輸率來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應用程序。HDFS放寬了POSIX標準的要求。這樣可以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)。

Hadoop采用Master／Slave結構（如圖1），會有一臺Mas．ter，主要負責NameNode的工作以及JobTracker的工作，Job．Tracker的主要職責就是啟動、跟蹤和調度各個Slave的任務執(zhí)行。還會有多臺Slave，每一臺Slave通常具有DataNode的功能并負責TaskTracker的工作。TaskTracker根據(jù)應用要求來結合本地數(shù)據(jù)執(zhí)行Map任務以及Reduce任務。