2013年11月24日 星期日
雲端運算的過去、現在與未來
文/楊淑萍
現在最熱門的雲端運算(Cloud Computing)究竟是什麼? 與網格運算(Grid Computing)有何不同? 本文將帶您瞭解雲端運算的源起、概念成形以及其相關應用。雲端運算在這幾年被炒的火熱之前,大家可能同時也聽過另一個名詞 - 網格運算;很多人覺得網格運算跟雲端運算很像,事實上兩者在概念上並沒有非常嚴格的區隔,均可看成是分散式運算(Distributed Computing)衍伸出來的概念。
網格運算 VS 雲端運算
網格運算(Grid Computing):是通過利用大量異質電腦(通常為桌面Desktop)的未用資源(CPU資源和磁碟儲存空間),將其變成一個虛擬的計算機叢集,為解決大規模的計算問題提供了一個架構。網格計算的焦點放在支持跨網域運算的能力,運用平行運算,著重企業間或跨企業的資源充分運用,共同解決困難的運算任務。
雲端運算(Cloud Computing): 則是一種具動態延展能力的運算方式,最基本的概念是將一個電腦運算工作 (Task) 分成許多程序 (Process),透過分佈於網際網路中的伺服器群組(雲端主機)處理分析後,再將結果傳回使用者端。 雖然雲端運算源自平行運算的技術,不脫離網格運算的概念,但是雲端運算更專注在資料的處理。
主流的雲端技術:
MapReduce : 是Google 運用在雲端運算中的關鍵技術,讓開發者開發大量資料的處理程式。先透過 Map 程式將資料切割成不相關的區塊,分配給大量電腦處理,再透過 Reduce 程式將結果彙整,輸出開發者需要的結果。
Hadoop: Hadoop是由Google雲端架構得到啟發而開始的開放原始碼計劃,Hadoop的架構是由Google發表的BigTable及Google File System等文章提出的概念實做而成,以java寫成,可以提供大量資料的分散式運算環境,但所用的分散式檔案系統與 Google 不同。Yahoo 為該計畫最主要的貢獻者和使用者。
雲端運算服務模式
雲端運算的應用通常以虛擬的型式,把資訊技術,包括運算、儲存及頻寬,以「服務」的形式,透過網際網路提供給客戶。透過雲端運算,使用者只要把一個服務當作黑箱(Black Box),輸入想要進行的動作,不需要知道黑箱內如何運作,只要等處理結果回傳即可。
依照服務的類別可分為下列三種模式:
1.軟體即服務(Software as a Service, SaaS)
是透過網際網路取得軟體部署的一種模式,提供企業隨選訂閱軟體服務(Software on Demand),從前端的辦公室應用如 Email, 文書處理到後端的資料分析、客戶關係管理、業務流程管理及人力資源管理等。代表廠商有Google, Salesforce, Microsoft等。
2.平台即服務(platform as a service, PaaS)
PaaS 為一種服務型的主機平台或虛擬解決方案集合,使用者不用自建硬體主機和作業系統,透過網路租用PaaS服務業者提供的虛擬主機平台,能夠省去軟硬體維護及管理的人力和時間。透過PaaS,軟體業者可以專注於軟體開發並加快功能部署上線的時間,知名的業者如Amazon web services與Google App Engine等。
3.架構即服務(Infrastructure as a service, IaaS)
IaaS 將IT基礎架構變成一種服務,企業以委外的方式將企業內部所需的IT架構交由IaaS廠商提供。相較於建構傳統機房需要訂購所需的硬體、軟體、儲存、電力及頻寬成本,企業可以更有效率的取得IT資源,用多少付多少。企業私雲(Private Cloud)及混合雲(Hybrid Cloud)的概念就是IaaS的延伸。私雲將外部資源透過 VPN的方式變成企業內部資源;混合雲則結合公雲(Public Cloud / SaaS)與私雲,更有彈性的將不同廠商提供的雲端服務整合起來,敏感資料交由私雲進行服務,非機密資訊則交由成本更低的公雲。
愈來愈多的廠商投入雲端服務,表示雲端服務市場已成未來趨勢,市場興起代表著企業組織可降低資訊服務建構成本,將重心放在核心營運業務上,提升效率及競爭力。不過雲端服務的流行同時也帶來許多問題,如安全性隱憂、服務等級(Service Level)是否足以應付組織日常作業要求、與既有系統相容度等。面對雲端的安全性問題,下一篇文章將帶您瞭解資訊安全廠商面對雲端所發展的新技術與應用。
作者簡介
本文作者目前為Cellopoint Project Manager
現在最熱門的雲端運算(Cloud Computing)究竟是什麼? 與網格運算(Grid Computing)有何不同? 本文將帶您瞭解雲端運算的源起、概念成形以及其相關應用。雲端運算在這幾年被炒的火熱之前,大家可能同時也聽過另一個名詞 - 網格運算;很多人覺得網格運算跟雲端運算很像,事實上兩者在概念上並沒有非常嚴格的區隔,均可看成是分散式運算(Distributed Computing)衍伸出來的概念。
網格運算 VS 雲端運算
網格運算(Grid Computing):是通過利用大量異質電腦(通常為桌面Desktop)的未用資源(CPU資源和磁碟儲存空間),將其變成一個虛擬的計算機叢集,為解決大規模的計算問題提供了一個架構。網格計算的焦點放在支持跨網域運算的能力,運用平行運算,著重企業間或跨企業的資源充分運用,共同解決困難的運算任務。
雲端運算(Cloud Computing): 則是一種具動態延展能力的運算方式,最基本的概念是將一個電腦運算工作 (Task) 分成許多程序 (Process),透過分佈於網際網路中的伺服器群組(雲端主機)處理分析後,再將結果傳回使用者端。 雖然雲端運算源自平行運算的技術,不脫離網格運算的概念,但是雲端運算更專注在資料的處理。
主流的雲端技術:
MapReduce : 是Google 運用在雲端運算中的關鍵技術,讓開發者開發大量資料的處理程式。先透過 Map 程式將資料切割成不相關的區塊,分配給大量電腦處理,再透過 Reduce 程式將結果彙整,輸出開發者需要的結果。
Hadoop: Hadoop是由Google雲端架構得到啟發而開始的開放原始碼計劃,Hadoop的架構是由Google發表的BigTable及Google File System等文章提出的概念實做而成,以java寫成,可以提供大量資料的分散式運算環境,但所用的分散式檔案系統與 Google 不同。Yahoo 為該計畫最主要的貢獻者和使用者。
雲端運算服務模式
雲端運算的應用通常以虛擬的型式,把資訊技術,包括運算、儲存及頻寬,以「服務」的形式,透過網際網路提供給客戶。透過雲端運算,使用者只要把一個服務當作黑箱(Black Box),輸入想要進行的動作,不需要知道黑箱內如何運作,只要等處理結果回傳即可。
依照服務的類別可分為下列三種模式:
1.軟體即服務(Software as a Service, SaaS)
是透過網際網路取得軟體部署的一種模式,提供企業隨選訂閱軟體服務(Software on Demand),從前端的辦公室應用如 Email, 文書處理到後端的資料分析、客戶關係管理、業務流程管理及人力資源管理等。代表廠商有Google, Salesforce, Microsoft等。
2.平台即服務(platform as a service, PaaS)
PaaS 為一種服務型的主機平台或虛擬解決方案集合,使用者不用自建硬體主機和作業系統,透過網路租用PaaS服務業者提供的虛擬主機平台,能夠省去軟硬體維護及管理的人力和時間。透過PaaS,軟體業者可以專注於軟體開發並加快功能部署上線的時間,知名的業者如Amazon web services與Google App Engine等。
3.架構即服務(Infrastructure as a service, IaaS)
IaaS 將IT基礎架構變成一種服務,企業以委外的方式將企業內部所需的IT架構交由IaaS廠商提供。相較於建構傳統機房需要訂購所需的硬體、軟體、儲存、電力及頻寬成本,企業可以更有效率的取得IT資源,用多少付多少。企業私雲(Private Cloud)及混合雲(Hybrid Cloud)的概念就是IaaS的延伸。私雲將外部資源透過 VPN的方式變成企業內部資源;混合雲則結合公雲(Public Cloud / SaaS)與私雲,更有彈性的將不同廠商提供的雲端服務整合起來,敏感資料交由私雲進行服務,非機密資訊則交由成本更低的公雲。
愈來愈多的廠商投入雲端服務,表示雲端服務市場已成未來趨勢,市場興起代表著企業組織可降低資訊服務建構成本,將重心放在核心營運業務上,提升效率及競爭力。不過雲端服務的流行同時也帶來許多問題,如安全性隱憂、服務等級(Service Level)是否足以應付組織日常作業要求、與既有系統相容度等。面對雲端的安全性問題,下一篇文章將帶您瞭解資訊安全廠商面對雲端所發展的新技術與應用。
作者簡介
本文作者目前為Cellopoint Project Manager
2013年11月16日 星期六
雲端運算平台—Hadoop
作者:周秉誼 / 臺灣大學計算機及資訊網路中心作業管理組碩士後研究人員
再更仔細地介紹流程中每一步的細節,一開始需要建立一個JobConf類別的物件,用來設定運算工作的內容,如 setMapperClass/setReducerClass設定 Mapper及Reducer 的類別,setInputFormat/setOutputFormat 設定輸出輸入資料的格式, setOutputKeyClass / setOutputValueClass 設定輸出資料的類型,設定完成後,依設定內容提交運算工作。資料來源會依InputFormat的設定取得,並分割轉換為一組組的 (key, value) 序對,交由不同的Mapper同時進行運算,Mapper要將運算的結果輸出為一組組(key, value) 序對,也稱為中介資料 (intermediate),系統會將這些暫時的結果排序 (sort) 並暫存起來,等到所有Mapper的運算工作結束之後,依照不同的key值傳送給不同的Reducer彙整,所有同一key值的中介資料的value值,會放在一個容器 (container) 裡傳給同一個Reducer處理,所以在Reducer中可以利用values.next()依序取得不同value值,快速地完成結果整理,再依OutputFormat的設定輸出為檔案。
進行運算的Mapper和Reducer會由系統會自動指派不同的運算節點擔任,所以程式設計時完全不用做資料和運算的切割 (decomposition),運算資源會由JobTracker分配到各個運算節點上的TaskTracker,並指派不同的節點擔任Mapper和Reducer。
HDFSHadoop Distributed File System (HDFS) 將分散的儲存資源整合成一個具容錯能力、高效率且超大容量的儲存環境,在Hadoop系統中大量的資料和運算時產生的暫存檔案,都是存放在這個分散式的檔案系統上。
HDFS是master/slave架構,由兩種角色組成,Name node及data nodes,Name node負責檔案系統中各個檔案屬性權限等資訊 (metadata, namespace) 的管理及儲存;而data node通常由數以百計的節點擔任,一個資料檔會被切割成數個較小的區塊 (block) 儲存在不同的data node上,每一個區塊還會有數份副本 (replica) 存放在不同節點,這樣當其中一個節點損壞時,檔案系統中的資料還能保存無缺,因此name node還需要紀錄每一份檔案存放的位置,當有存取檔案的需求時,協調data node負責回應;而有節點損壞時,name node也會自動進行資料的搬遷和複製。
HDFS雖然沒有整合進Linux kernel,只能透過Hadoop的dfs shell進行檔案操作,或使用FUSE成為User space下的檔案系統,但Hadoop下的系統都與HDFS整合,做為資料儲存備份及分享的媒介。如前面提到的MapReduce在系統分配運算工作時,會將運算工作分配到存放有運算資料的節點上進行,減少大量資料透過網路傳輸的時間。
HBaseHBase是架構在HDFS上的分散式資料庫,與一般關聯式資料庫 (relational database) 不同。HBase使用列 (row) 和行 (column) 為索引存取資料值,因此查詢的時候比較像在使用map容器 (container);HBase的另一個特點是每一筆資料都有一個時間戳記 (timestamp),因此同一個欄位可依不同時間存在多筆資料。
一個HBase的資料表 (table) 是由許多row及數個column family組成,每個列都有一個row key做為索引;一個column family就是一個column label的集合 (set),裡面可有很多組label,這些label可以視需要隨時新增,而不用重新設定整個資料表 (見表二)。在存取資料表的時候,通常就使用 (‘row key’, ‘family:label’) 或 (‘row key’, ‘family:label’, ‘timestamp’) 的組合取出需要的欄位。
HBase為了方便分散資料和運算工作,又將整個資料表分為許多region,一個region是由一到數個列所組成的,可以分別存放在不同HBase主機上,這些存放region的主機就是region server,另外還有master server用來紀錄每一個region對應的region server;master server也會自動將不能提供服務的region server上的region重新分配到其他的region server上。
HBase也可供MapReduce的程式當作資料來源或儲存媒介,在HBase 0.20版之後提供了TableMapper及TableReducer的類別讓程式中的Mapper及Reducer類別繼承,可以把MapReuce中的 (key, value) 更方便地從HBase中取出和存入。
雲端運算是資料中心因應網路上資訊暴增而提出的服務及管理思維,資訊服務提供者投入資源進行雲端運算的服務及架構開發,Google可說是最大量使用雲端運算的組織之一。Hadoop就是由Google雲端架構得到啟發而開始的開放原始碼計劃,目前有許多組織參與Hadoop的研究開發,並以Hadoop做為雲端運算的平台。
前言隨著網際網路 (Internet) 的發展,及web2.0概念被提出,網路使用者的行為也由單純的瀏覽轉變為創作與分享;另外,行動式的資訊設備也越來越多,為了方便分享及取用,使用者們把資料從個人的電腦中轉移到web服務提供者的資料中心 (Data Center);而服務提供者為了提供更穩定更迅速的服務,也需要一個新的服務架構,將運算資源及儲存空間更有效率的利用,同時提供服務開發人員更便利的開發環境。
雲端運算 (Cloud Computing) 就是將前述所有的需求整合在一起的概念,一個面向是讓使用者以更加便利的方式使用及取得服務,甚至用最簡單的方式開發新的服務。隨著各種雲端服務產生,對於運算能力及儲存空間的需求,也會驚人地成長,因此雲端運算的另一個面向就是整合組織內部運算資源,以最有效率、最易於管理的方式,提供雲端服務穩定的運算及儲存能量。
以Google為例,許多服務都以雲端運算的形式推出,讓使用者隨時可以取得自己的資料,也能夠透過網路跟其他人分享;還提供了相當便利的開發環境,如 Google App. Engine提供了介面和免費的運算及儲存資源,讓使用者開發各種有趣的web服務。但這些服務需要十分可觀的運算能力和使用者資料的儲存空間,因此,Google開發了許多雲端運算的技術與架構,如MapReduce以分散式運算提供整合的運算資源及減少運算時間、Google File System將大量而分散的儲存空間整合為一個可靠的儲存媒介、BigTable提供高效率的分散式資料庫。這些技術及架構都有一個特點,就是讓服務開發人員不用考慮在這些分散式系統上資料要怎麼放置、運算要怎麼切割,只需要專注在服務的開發就可以了,而資料與運算的切割及分散就交給雲端運算的架構來處理,可說是大大增加了開發服務的速度。
以Google為例,許多服務都以雲端運算的形式推出,讓使用者隨時可以取得自己的資料,也能夠透過網路跟其他人分享;還提供了相當便利的開發環境,如 Google App. Engine提供了介面和免費的運算及儲存資源,讓使用者開發各種有趣的web服務。但這些服務需要十分可觀的運算能力和使用者資料的儲存空間,因此,Google開發了許多雲端運算的技術與架構,如MapReduce以分散式運算提供整合的運算資源及減少運算時間、Google File System將大量而分散的儲存空間整合為一個可靠的儲存媒介、BigTable提供高效率的分散式資料庫。這些技術及架構都有一個特點,就是讓服務開發人員不用考慮在這些分散式系統上資料要怎麼放置、運算要怎麼切割,只需要專注在服務的開發就可以了,而資料與運算的切割及分散就交給雲端運算的架構來處理,可說是大大增加了開發服務的速度。
Hadoop計劃Hadoop是Apache軟體基金會 (Apache Software Foundation) 底下的開放原始碼計劃 (Open source project),最初是做為Nutch這個開放原始碼的搜尋引擎的一部份。Hadoop是以java寫成,可以提供大量資料的分散式運算環境,而且Hadoop的架構是由Google發表的BigTable及Google File System等文章提出的概念實做而成,所以跟Google內部使用的雲端運算架構相似。目前Yahoo!及Cloudera等公司都有開發人員投入Hadoop的開發團隊,也有將近一百個公司或組織公開表示使用Hadoop做為雲端運算平台,Google及IBM也使用Hadoop平台為教育合作環境。
Hadoop中包括許多子計劃,其中Hadoop MapReduce如同Google MapReduce,提供分散式運算環境、Hadoop Distributed File System如同Google File System,提供大量儲存空間、HBase是一個類似 BigTable 的分散式資料庫 (見表一),還有其他部份可用來將這三個主要部份連結在一起,方便提供整合的雲端服務。
Hadoop中包括許多子計劃,其中Hadoop MapReduce如同Google MapReduce,提供分散式運算環境、Hadoop Distributed File System如同Google File System,提供大量儲存空間、HBase是一個類似 BigTable 的分散式資料庫 (見表一),還有其他部份可用來將這三個主要部份連結在一起,方便提供整合的雲端服務。
MapReduceMapReduce是一個分散式程式框架,讓服務開發者可以很簡單的撰寫程式,利用大量的運算資源,加速處理龐大的資料量,一個MapReduce的運算工作可以分成兩個部份—Map和Reduce,大量的資料在運算開始的時候,會被系統轉換成一組組 (key, value) 的序對並自動切割成許多部份,分別傳給不同的Mapper來處理,Mapper處理完成後也要將運算結果整理成一組組 (key, value) 的序對,再傳給Reducer整合所有Mapper的結果,最後才能將整體的結果輸出 (見圖一)。
再更仔細地介紹流程中每一步的細節,一開始需要建立一個JobConf類別的物件,用來設定運算工作的內容,如 setMapperClass/setReducerClass設定 Mapper及Reducer 的類別,setInputFormat/setOutputFormat 設定輸出輸入資料的格式, setOutputKeyClass / setOutputValueClass 設定輸出資料的類型,設定完成後,依設定內容提交運算工作。資料來源會依InputFormat的設定取得,並分割轉換為一組組的 (key, value) 序對,交由不同的Mapper同時進行運算,Mapper要將運算的結果輸出為一組組(key, value) 序對,也稱為中介資料 (intermediate),系統會將這些暫時的結果排序 (sort) 並暫存起來,等到所有Mapper的運算工作結束之後,依照不同的key值傳送給不同的Reducer彙整,所有同一key值的中介資料的value值,會放在一個容器 (container) 裡傳給同一個Reducer處理,所以在Reducer中可以利用values.next()依序取得不同value值,快速地完成結果整理,再依OutputFormat的設定輸出為檔案。
進行運算的Mapper和Reducer會由系統會自動指派不同的運算節點擔任,所以程式設計時完全不用做資料和運算的切割 (decomposition),運算資源會由JobTracker分配到各個運算節點上的TaskTracker,並指派不同的節點擔任Mapper和Reducer。
HDFSHadoop Distributed File System (HDFS) 將分散的儲存資源整合成一個具容錯能力、高效率且超大容量的儲存環境,在Hadoop系統中大量的資料和運算時產生的暫存檔案,都是存放在這個分散式的檔案系統上。
HDFS是master/slave架構,由兩種角色組成,Name node及data nodes,Name node負責檔案系統中各個檔案屬性權限等資訊 (metadata, namespace) 的管理及儲存;而data node通常由數以百計的節點擔任,一個資料檔會被切割成數個較小的區塊 (block) 儲存在不同的data node上,每一個區塊還會有數份副本 (replica) 存放在不同節點,這樣當其中一個節點損壞時,檔案系統中的資料還能保存無缺,因此name node還需要紀錄每一份檔案存放的位置,當有存取檔案的需求時,協調data node負責回應;而有節點損壞時,name node也會自動進行資料的搬遷和複製。
HDFS雖然沒有整合進Linux kernel,只能透過Hadoop的dfs shell進行檔案操作,或使用FUSE成為User space下的檔案系統,但Hadoop下的系統都與HDFS整合,做為資料儲存備份及分享的媒介。如前面提到的MapReduce在系統分配運算工作時,會將運算工作分配到存放有運算資料的節點上進行,減少大量資料透過網路傳輸的時間。
HBaseHBase是架構在HDFS上的分散式資料庫,與一般關聯式資料庫 (relational database) 不同。HBase使用列 (row) 和行 (column) 為索引存取資料值,因此查詢的時候比較像在使用map容器 (container);HBase的另一個特點是每一筆資料都有一個時間戳記 (timestamp),因此同一個欄位可依不同時間存在多筆資料。
一個HBase的資料表 (table) 是由許多row及數個column family組成,每個列都有一個row key做為索引;一個column family就是一個column label的集合 (set),裡面可有很多組label,這些label可以視需要隨時新增,而不用重新設定整個資料表 (見表二)。在存取資料表的時候,通常就使用 (‘row key’, ‘family:label’) 或 (‘row key’, ‘family:label’, ‘timestamp’) 的組合取出需要的欄位。
HBase為了方便分散資料和運算工作,又將整個資料表分為許多region,一個region是由一到數個列所組成的,可以分別存放在不同HBase主機上,這些存放region的主機就是region server,另外還有master server用來紀錄每一個region對應的region server;master server也會自動將不能提供服務的region server上的region重新分配到其他的region server上。
HBase也可供MapReduce的程式當作資料來源或儲存媒介,在HBase 0.20版之後提供了TableMapper及TableReducer的類別讓程式中的Mapper及Reducer類別繼承,可以把MapReuce中的 (key, value) 更方便地從HBase中取出和存入。
Web InterfaceMapReduce的JobTracker、HDFS、及HBase都有各自的web監控介面,可以及時觀察目前每個運算工作的運作情況、檔案系統的容量、及資料表和region的使用情況, 讓系統管理者輕鬆地監控大量資源 (見圖二、圖三、圖四)。
結論Hadoop是目前最常見且實際運用在大規模商業環境上的雲端運算平台之一,強大而完整的基礎架構可以減少大量的雲端架構開發的時間,大量部署時也相當迅速,不但有許多重量級的雲端運算服務提供者正在使用及投入開發,也與Google的雲端環境相似,使Hadoop成為教育訓練、學術研究及雲端服務開發的最佳平台。
雖然有Hadoop這麼便利的雲端運算環境,又有成功的雲端服務可以參考,然而在組織內部導入雲端運算的架構及文化時,仍需做好充分的規劃及時程表,不然將會影響原有服務的穩定及品質,不但不能享受雲端運算帶來的便利,反而徒然增加管理及營運成本,使雲端運算淪為失敗的行銷名詞。
雖然有Hadoop這麼便利的雲端運算環境,又有成功的雲端服務可以參考,然而在組織內部導入雲端運算的架構及文化時,仍需做好充分的規劃及時程表,不然將會影響原有服務的穩定及品質,不但不能享受雲端運算帶來的便利,反而徒然增加管理及營運成本,使雲端運算淪為失敗的行銷名詞。
2013年10月20日 星期日
完美打造虛擬化之儲存管理架構
前言 「虛擬化」確實可為企業帶來管理與成本上的效益,但一般廠商在導入虛擬化專案時,通常只將重心擺在前端主機如何虛擬化、如何Sizing將多個實體主機虛擬至一台主機上、…,皆著重於前端主機上的考量因素,常常會忽略另一個同等重要的因素-虛擬主機存放的儲存平台;就資料安全層面來看,將前端實體主機虛擬化後,負責儲存這些虛擬主機的儲存平台扮演的角色更較以往重要,要達成完整的主機虛擬化及應用各種虛擬化的好處勢必要將資料集中,但這也意謂著主機虛擬化背後的風險-”Consolidated Servers = Consolidated Risk”。 此外,「虛擬化」並非只是將前端主機虛擬化而已,也必需搭配後端儲存系統提供相對應的「內部虛擬化」機制來相配合才能將虛擬化的效益真正地展現出來,以下是NetApp Solution提供相對應於VMware的解決機制與架構圖。
主機虛擬化與儲存系統虛擬化整合架構圖 主機虛擬化雖是當前也是未來的既定趨勢,但唯有建置一套穩定、可靠且易於管理的儲存平台才能將主機虛擬化的效益完全展現,否則如同將所有的雞蛋放在一個不牢固的破籃子裡,稍一不慎,將更難以收拾。而虛擬化的目的是要滿足使用者對環境的多種需求,當然不能只從前端主機著手,若沒有後方儲存系統相對應機制的緊密整合,充其量也只是做到前端主機利用率的提升,並不能提高儲存系統的利用率及效能,以下僅就NetApp Solution應用在主機虛擬化時之整合優勢作一詳細介紹。 一、更安全的資料保護 1.1 專利的RAID DP保護機制:傳統只能容錯單顆磁碟故障的硬碟保護機制(RAID 3、4、5),隨著硬碟容量愈來愈大及SATA硬碟的大量使用,其安全性受到相當嚴重的挑戰,而對一些要求高度可靠性的環境而言,似乎唯一的選擇既是RAID1/0,但選擇RAID1/0意謂使用者要投資多一倍的磁碟成本,雖然得到較RAID 5更高的安全性,但卻無法提供在單一RAID Group中同時或先後容錯「任意」兩顆的磁碟故障。 資料來源:EMC CLARiiON Best Practices for Fibre Channel Storage, CLARiiON Firmware Release 16 Update 近來各大儲存廠商先後宣佈支援RAID 6,乍看之下能容錯「任意」兩顆磁碟故障似乎是各儲存廠商基本、必要的機制,但其實宣誓的意義卻大於實質應用的意義,傳統的RAID 6雖能獲得高安全性與低建置成本,但卻需忍受「效能不佳」的問題,因此很少在講求效能的production環境上真正使用。 SNIA只給予RAID 6定義-能容錯「任意」兩顆磁碟,較為常見的為Distributed Dual Parity RAID 6,透過這類演算法實做的RAID 6(EMC CX3, DMX3, HDS AMS/USP, HP XP),只是在既有的RAID 5下延伸一顆磁碟,缺點是會付出更高的overhead,如下圖在同樣顆數的RAID 5與RAID 6在random write環境下會有1/3效能上的耗損。 資料來源: HDS - Using RAID-6 with Hitachi TagmaStore™ Storage for Improved Data Protection 相較前述RAID 1/0或一般常用的RAID 6,NetApp專利的RAID DP能提供與一般RAID 6相同等級的安全機制(皆高於RAID 1/0),不僅不需投資多一倍的成本,且更不會有效能overhead的缺陷問題,以下是Microsoft TechNet網站上說明NetApp 獨家專利的RAID DP機制雖有與RAID 6同等級的安全性,但並卻不會有像傳統RAID 6有效能差的缺陷。 資料來源:http://technet.microsoft.com/en-us/library/bb738146.aspx 1.2檔案系統: NetApp的專利檔案系統WAFL,可提供最高的資料安全與最低的停機時間。在不正常斷電與關機狀態下,不限容量大小,也不需要執行硬碟檢查,能在復電三分鐘後即可開始提供服務,檔案系統不會損毀,尚未完成的交易也不會流失。而當備援硬碟正在重建資料時發生斷電,復電後系統會自動從未完成的地方繼續重建,不會從頭開始重建,以縮短重建的時間,並降低風險。 1.3虛擬主機備份 NetApp Snapshot緊密整合VMware Virtual server backup,讓這些Guest OS能保有不同時間點的複本,透過NetApp Snapshot能讓Guest OS獲得一致性的線上快照備份,其過程如下: (1)讓VM進入「Hot Backup」模式,並產生一份redo log,在結束前該VM新增的寫入會先寫到該redo log上。 (2)透過NetApp Snapshot執行快速對該VM進行線上快照備份。 (3)將該VM離開備份模式,並apply redo log,確保資料能維持正確性。 透過NetApp Snapshot來備份VM的優點如下:
根據IDC報告指出,有93%的資料回復需求可從Snapshot中取回,此舉也說明了快照備份機制對防止資料毀損的重要性,現行各儲存廠商也都提供硬體的快照備份機制,一般可概分兩大類,最常見的為Copy On Write Snapshot,代表廠商有EMC:CLARiiON /SnapView, Celerra /SnapSure, DMX/Snap;IBM:DS/FlashCopy;HP:EVA/Vsnap, XP/Business Copy, MSA/Virtual Replicator;HDS:Copy-on-first write Snapshot,此類的快照機制,不僅要預先規劃快照保留空間(Reserved LUN),而且執行後會對儲存設備效能產生極大的影響,通常每個LUN的可保留份數也很少(EMC SnapView每個LUN最多只能做8份snapshot,HDS AMS只能做14份,HDS USP能做到64份),這也意謂使用者無法常常對資料做備份且又能保存一段時間,代表資料落差的指標RPO(Recovery Point Objective)也勢必加大,資料損失量也愈多。 相較於友商的快照備份機制,NetApp專利的快照機制(Redirect On Write Snapshot)不會對儲存設備效能產生嚴重的影響,也不需要預先規劃保留空間,且每個LUN或Volume可提供最多255份的快照備份,可經常做快照備份,大幅降低資料損失量。 Source:VeriTest, Nov 2006 二、更彈性的資料管理 2.1 存取模式:ESX 3.0.x以上皆支援 FCP、iSCSI與NFS方式將Guest OS放置在Storage上運行,而NetApp是目前業界唯一有能力同時提供FCP、iSCSI與NFS三種存取協定來建置VMware平台的儲存設備。
如考慮最低建置成本與最彈性運用建議採用NFS,透過NFS做為VMware的Datastore可獲得最佳的管理性與擴充性,從ESX 3.0.x以上的版本已能支援NFS做為Datastore,不需像先前版本必需要先格式化成VMFS,因此也不會有像VMFS有效能及擴充上的限制。 透過VMFS做為Datastore示意圖 透過NFS做為Datastore示意圖 2.2彈性空間配置:在設計和部署VMware整合方案時,如果没有完善地考慮儲存系統的整合,只會將成本由前端主機轉嫁到儲存管理上。虛擬化前有100台主機需要管理,虛擬化後也依然需管理100台的主機資料,差別只在於要管理的實體主機減少了,全集中在同一座儲存系統上,因此若儲存系統無法提供彈性的空間管理機制,人員的負擔並不會有所減輕。透過NetApp獨步全球的內部空間虛擬化技術,可協助使用者輕易實現從實體層到VM層的線上容量管理,大幅降低人員管理負擔。 2.3瞬間複製部署虛擬主機:透過NetApp的瞬間複製技術-FlexClone,可瞬間完成OS複製,且不影響線上系統運作,最後再視狀況決定是否進行實體分割,減低容量的需求。 雖然VMware本身也能提供複製虛擬主機的功能(template),但需要有1:1的額外空間,不僅耗費空間且相當費時,無法做到快速部署,但透過NetApp FlexClone卻可解決上述問題,每個虛擬主機的複本不佔空間,只佔異動量,可視情況進行實體分割。 三、更有效率的資源調配:主機利用率的提升並不代表能提高儲存系統的利用率及效能,主機虛擬化後,儲存系統彈性空間調整機制將更加重要。 3.1效能調配:透過NetApp的動態虛擬化技術-FlexVol可大幅提高儲存系統的效能,而透過FlexShare可以動態調配各應用服務的效能優先權,將硬碟的空間與性能做最有效率的利用。 大多數公司或單位內都有各種類的應用服務,例如資料庫、電子郵件和主目錄及應用程式等。而傳統IT環境面臨的難題是無法整合上述各類的應用服務,既使花大錢導入高昂的儲存系統也未必能解決上述問題,原因是一開始儲存系統資源已經先被配置給某一應用服務,除非打掉重建,否則無法重態重新調配儲存資源,但透過NetApp FlexShare可以在同一系統上合併兩種或更多種上述應用服務。例如,IT環境中有Oracle Database和用戶主目錄,透過FlexShare可以為為資料庫設置高於主目錄的資源優先級,以便確保主目錄流量不會干擾重要的資料庫操作。 FlexShare可以Volume為單位,設定存取資源的優先程度,分別對前端應用程式的重要性與對效能的需求,調配資源使用的優先順序,用戶還能以FlexShare設定更精細的存取政策動態調整,如下圖所示。 3.2空間虛擬化調配:透過資源隨選配置(Thin Provisioning)機制-NetApp FlexVol來最大化企業對儲存系統的投資。NetApp具備動態虛擬化技術能大幅提高儲存空間利用率及系統效能,可隨時根據應用服務的使用現況做動態線上空間的擴增與縮小,透過NetApp儲存系統內部虛擬化的機制來與前端VMware主機虛擬化做完整的整合。 3.3 空間節省:NetApp A-SIS消除重複數據(Deduplication)技術能與Vmware完美结合,藉由刪除虛擬機器底層重複的數據資料,可大幅節省VMware空間消耗(30%-60%),而且適用所有資料型態(SAN/NAS/ISCSI),背景執行的A-SIS亦不會影響線上環境的效能。 四、完整有效的異地備援措施:當虛擬化開始建構實施後,真正底層實體的資料事實上已經全部集中在後端的儲存設備內,儲存設備的資料可用度變成第一優先的重要。這時候有效保障虛擬化服務可用度的異地備援方案變得勢在必行。 異地備援架構:NetApp提供全系列儲存設備內建Snap Mirror功能,配合導入虛擬化架構時,任何本地儲存設備的資料損毀皆可以有效的透過遠端的NetApp儲存設備立刻接手啟動服務。而需要針對線上的虛擬化主機進行額外獨立的測試開發時也可以直接利用NetApp儲存設備提供的 Flex Clone功能,不影響及中斷異地備援保護措施而讓測試開發或需要演練的項目直接獨立運作。 NetApp業界獨一的異地備援架構同時提供線上資料與歷史備份的遠端複製 結語 根據國外分析單位統計,當客戶真正建構一個虛擬化環境與建構相對應的儲存管理架構的投資比重約是1:5的比值。意味者假設當你真正導入虛擬化在虛擬軟體架構上花費了100元,相對應的儲存管理花費累計平均會是5倍以上。如此驚人的隱藏管理成本絕對是客戶再導入虛擬架構必須謹慎思量的,透過NetApp簡單穩定快速的儲存架構,完美輕鬆打造建構一個虛擬化儲存管理架構。 |
資料中心儲存趨勢、挑戰和解決方案
簡介
資料中心已成為企業商業永續經營的核心關鍵。它所能提供的已遠遠超過商業技術方面,但一般資料中心卻也因此變得極端複雜。新的技術、迅速的成長、併購、線上資料的爆炸性增加,以及日益嚴重的安全問題,種種因素使得資料中心複雜性愈來愈高,而利用率卻每下愈況。近年來,天災人禍不斷,從恐佈攻擊到全國性大停電,以及颶風與龍捲風等天然災害,也進一步加深資料中心承受的挑戰。雖然管理資料中心的任務優先性會不斷改變,不過有一項任務仍屹立不搖,那就是需要以更少資源做更多的事。NetApp 將在本白皮書說明影響現今與未來資料中心的八大趨勢與挑戰:連接性、階層式儲存管理、資源隨需配置、儲存系統的靈活度、應用可用度、統一化儲存、儲存安全、整合式資料管理。 連接性 根據 Gartner Group 的產業資料顯示,光纖通道 (Fibre Channel, FC) 成長率趨緩,但未來至少五年內它仍將是支配儲存網路的主流技術,即使成長速度遭到乙太網路上網際網路小型電腦系統介面的限制。持續地向後相容及速度上的增加 (4Gb、8Gb),將使得FC技術持續在資料中心佔有一席之地。乙太網路為基礎的iSCSI 可視為FC優勢的最大挑戰,10GbE 則有助於拉近兩者間的距離。InfiniBand (IBA) 帶來了低成本的交換技術,但它作為儲存網路技術的成熟度還稍顯不足,只有少數幾家業者提供原生IBA 儲存。而序列式 SCSI (SAS) 則提供另一種從中階到低階儲存、伺服器 / 儲存 (DAS) 叢集環境的低價選擇,未來還可成為小型 SAN。不過,它將不足以影響 FC 在資料中心內的地位。 階層式儲存管理 企業需要有方法,才能依據資料對公司的價值提升儲存容量利用率與最佳化儲存成本。資料中心內建置階層式儲存可協助企業因應關鍵資料的管理挑戰,像是一線 (價錢較為昂貴) 儲存設備需求愈來愈高,但二線 (近線) 儲存的使用率偏低、無法依據資料的業務相關性質用於不同型態的儲存設備上,以及在未來能做好資料適當分類情況下投入成本高昂的備份,導致不甚重要的資料反而花費太高來保護。 資料中心的階層式儲存解決方案,應具備以下能力: (見圖一) • 高度自動化 • 異質儲存的集中管理 • 能依政策橫跨儲存階層而進行資料搬移 • 在不干擾情況下移動資料 • 從業務觀點管理資料,而不是從實體儲存系統。
圖一 儲存的階層
資源隨需配置 (Thin Provisioning) 資料中心 IT 經理人與儲存管理人員,長久以來時常反應他們的磁碟容量利用率僅達 30%~40%。不論原因是直接附加儲存基礎架構先天即形成一座座儲存孤島,還是資料管理軟體效率低落或靈活度欠佳,唯有著手改善儲存架構,否則利用率不可能提升。對資料中心經理人的一項好消息是,將儲存利用率最佳化,將能大幅提升儲存容量 / 成本比率,同時滿足IT管理、使用者以及公司財務管理等多方需求。 不過想對儲存架構進行評估,必須考量所有可能影響利用率的因素。像是作業系統效能、資源配置技術、容量管理、資料防護及備份設備等等。當各項服務建置後將如何同時兼顧滿足應用與業務目標,又不致影響最佳化的儲存效率? 建置任何儲存系統的第一步是對伺服器與應用程式分配空間。多數儲存系統都需要儲存管理員先分配一定實體磁碟空間給應用程式,然而一旦分配出去後,別的應用程式使用者就再也無法運用。問題是在早期佈署階段,儲存管理員很少會精確知道使用者與應用上的實際需求,而且多數儲存員分配儲存空間給應用程式時,往往會把特定磁碟「鎖定」在一定磁碟容量與特定邏輯磁碟。 例如 (見圖二) ,如果某管理員想把 500GB 的容量空間分配給實際資料量只有 100GB 的使用,其他 400GB 則是英雄無用武之地,無法發揮任何作用。這些閒置的容量還是為該應用程式所有,其他應用程式都無福享用。如此一來,這 500GB 形同浪費,就算總有一天都會用上,但也要花上數月甚至數年。資源隨需配置技術就能免除這種浪費。我們再以同一例說明,管理員把 500GB 的空間挪給了實際資料只有 100GB 的應用程式中,我們利用資源隨需配置技術,那未用到的 400GB 仍然可為其他應用程式所用。這樣不但做到應用程式的透通性,同時也避免容量浪費的問題。
圖二 資源隨需配置
資源隨需配置基本上就是即時儲存。應用程式以為它有 500GB 儲存,但儲存系統實際只給它必要的容量,其他容量則開放共用,管理員並可設定區間準值,以便需要再對磁碟時發出警告。對資料中心而言,資源隨需配置能將儲存利用率提升到 65%~85%,同時也降低了儲存成本與管理的複雜性。 儲存系統的防護力 企業資料中心必須具備應用程式的高可用度與恆久的資料完整性,以支援跨國企業的關鍵應用。長久以來,資料中心經理人一直致力於避免非預期性停機,就是為了要保應用程式隨時可用,和為了維持資料隨時都是正確與即時的,也必須防止資料毁損。只要資料可用性或完整性遭到破壞,都對企業營運與聲譽帶來不堪設想的嚴重後果。 雖然地區性災害或網站故障對企業影響巨大,而漸漸受到企業重視,然而造成企業非預期性停機最主要原因卻是來自日常營運面的失誤,其次才是元件或系統故障(見圖三)。要能確保 99.999% 的應用程式的可用性,企業需要高穩定的儲存環境,以防止任何原因導致的停機或資料毀損。
圖三 停機所造成的原因與發生機率
現今兩大產業趨勢 --資料中心儲存整合至超大容量儲存系統的普及,使得高可用度的應用程式已躍升為儲存與IT經理人最重要挑戰。愈來愈多資料與應用程式整合於同一環境下,可用性的要求隨之升高。同時磁碟空間更大的 SATA 儲存技術逐漸普及,系統故障的可能性與風險也隨之增加。此外,生產力提升、全球競爭轉趨激烈,以及法規要求愈來愈嚴峻,更進一步加重儲存系統承受的挑戰。因此,資料中心必須要有完整的儲存防護技術以支援高應用程式可用度。為防止業務發生中斷,儲存系統的防護力乃成為儲存解決方案裡一個不可或缺的必要元素。(資料來源:Gartner Group) 真正的儲存防護力必須要從兩個方面來看,這也是儲存架構的必備條件: (1) 藉由早期偵測與自我修復流程,來防止錯誤發生與系統故障; (2) 在錯誤與故障發生時能迅速與在不干擾正常作業情況下自動復原。廠商解決 方案應包含能事前預知磁碟故障並加以自動修復、以最具成本效益的方法來防止各種兩顆磁碟故障,同時還使效能影響降至最小,即使磁碟、機箱與儲存迴路發生故障,資料依然能維持可用,並支援同步與非同步複製、叢集 (本地或遠端) 故障自動接管,並且本身就是具備全面性備援的容錯系統。 應用程式可用度 今日的資料中心正承受提升應用程式的可用度,目標是關鍵系統達到 100% 應用程式可用度的殘酷壓力。由於停機成本不斷攀升,企業必須找出停機的各項因素,並採取系統化策略來降低停機風險,因此,企業不僅要解決一般基礎架構的問題,還要包括人為與流程的問題。911 恐怖攻擊、卡崔娜風災與南亞海嘯促使企業重新審視其風險管理與災難規劃的策略。企業體認到天災人禍不可避免,但關注的重點已從如何避免災難轉為如何從中復原。 應用程式停機可分成兩種形態:計畫性與無預警兩種。不論是哪一種,絕大部份都是不可避免,而且往往最後都演變成為無預警停機。要提升應用程式可用度,不僅需預防無預警停機,並且在發生任何軟、硬體故障導致無預警停機下,能夠順利復原,當然這也得看系統管理員及操作員的能力有多少,能不能在不損及系統資源可用的情況下,仍舊執行每日的任務。 增強應用程式可用度且能快速從災難中復原,企業的儲存架構必須能防範各種計畫性停機與無預警停機,並能在停機發生時迅速恢復執行。所以儲存解決方案必須具備能解決應用程式停機問題的各種能力,防止操作員失誤、復原操作員及應用過程中的失誤、將預期性停機降到最低、系統運作時間拉至最大,並且從災難中回復運作。儲存業者無不提供可用性能力,但並非每一家的解決方案都能解決停機兩大元凶:應用程式與作業流程操作上的失誤。 整棟機房大樓故障與天然災害雖然發生頻率較人為作業流程操作上失誤低得多,但殺傷力卻大得多。資料中心需一具成本效益的彈性化災難復原解決方案,以便能在單 一 DR 方案中涵蓋各層應用。此外,它還要有能讓 DR 端點拿來作商業運用。應用程式管理員與資料庫管理員需要以應用程式為導向的整合方案,以便在不影響作業的幾秒鐘內完成備份,並確保同時符合復原時間目標RTO (Recovery Time Objectives) 與復原點目標 RPO (Recovery Point Objectives) 等兩大目標。 統一化儲存 資料中心想真正獲得網路儲存所帶來整合與管理的最佳化效益,佈署的解決方法必須具備可同時滿足管理 SAN 與 NAS 的相同單一管理工具。統一化的儲存空間能提供更高的儲存利用率、單一資料回復解決方案、單一資料管理模型,更能讓 IT 人員發揮他們的技能。在統一化儲存平台下,儲存管理員只需一套軟體與流程就可管理一線、二線各層級的儲存系統,這些效益自然就可帶來更高的投資報酬率與更低的整體擁有成本。 統一化儲存系統能將 SAN 與 NAS 虛擬化,就能利用同一組工具及技能加以分配與管理。要執行各種網路儲存 (FC SAN, NAS, IP SAN) 的工作,使用者都能在單一介面下全部完成。(見圖四)
圖四 統一化儲存
更強大的儲存整合能力、保護既有投資及更少的管理工作,已成為推動統一化儲存普及的主要驅動力。如果能將 NAS、中階 IP SAN 儲存及高階 FC SAN 儲存這三者的管理方式,整合在單一管理介面下,將會對資料中心來說變得極具吸引力。統一化儲存與資料管理的軟體與流程,將可大幅簡化資料擁有的複雜程度、降低與使用者失誤相關的風險,並減少昂貴訓練與整合服務的需求。 儲存安全 NAS與SAN網路儲存技術的優點眾所周知,但將公司資料儲存在網路上卻有相當的安全風險顧慮。網路儲存環境下的資料比傳統直接附加儲存 (DAS) 更容易遭到未經授權的存取、偷竊或誤用。因為集結式儲存並未將資料分隔,所以來自不同部門的資料都混在一起。資料複製、備份與遠端鏡射,以及其他災害復原技術,更增加了公司內外未授權的存取行為。而合作夥伴在防火牆內部及其他合法管道的存取行為,也使得安全風險變高。 在儲存網路裡面,一個安全漏洞就可能危及整個公司的資料資產。防火牆、入侵偵測系統 (IDS) 與虛擬私人網路 (VPN) 都是藉由保護網路周邊來防護這些資產。這些技術雖然重要,但卻不足以確保儲存安全性,也使得資料可能遭到來自公司內、外部的攻擊。一旦這些防禦因為密碼被偷竊、病毒侵入或是組態錯誤而被破壞,資產安全也就門戶洞開。 機密資料卻不實施加密的企業,可能因無法符合法規或資料保護的合約要求,而得花上大筆金錢在事後修正或補償措施上。一個防護全公司儲存資料且支援 NAS 、 DAS 、 SAN 、磁帶及 iSCSI 環境的統一化平台是保護資料中心資產的最佳選擇。統一化平台提供了線速加密,並可在網路儲存環境下,以更簡易的安全模式來進行存取控管、授權與安全登入方式來確保儲存媒體裡休息的資料安全。安全應用裝置必須也能在無需變更應用程式、伺服器、桌面與儲存等情況下,透通性地佈署於資料中心內。 整合式資料管理 傳統資料中心 IT 部門中,應用程式、資料庫、系統與儲存管理員總是只關心一小部份的資料 / 儲存管理問題,權責義務各有所屬。因此一個端對端資料管理就得仰賴資料管理員與儲存管理員的溝通,以人工方式把資料連結到儲存系統上,這種作法不但干擾運作且容易出錯,更可能導致重大問題與失去生產力。傳統作法使得資料與儲存管理間出現斷層,徒增資料複製工作的負擔,並經常打斷各自獨立的管理部門之作業。 整合式資料管理將可簡化並涵括儲存裝置與其內資料的管理作業(見圖五)。如此一來,儲存管理員將可藉由流程與應用程式的需求相連接,而使日常管理流程自動化,達到提升營運效率,及最小程度干擾的目的。然而整個過程因為能定義適當且可重覆使用的政策,並支援各應用程式的不同 QOS 需求,也不會犧牲對儲存環境的控管。
圖五 整合式資料管理
由於能在受到良好控管的環境下,將應用程式的需求與儲存管理流程連接起來,系統管理員、應用程式管理員與資料管理員就能以他們熟悉的語言來控管資料,無需繁複的儲存管理技能。一旦資料擁有人能夠執行特定資料管理任務,他們對不同商業需求的回應能力也隨著提升。此外,使用流程自動化、角色為基礎的存取、政策為基礎的管理可使企業依據業務需求來管理資料,降低儲存與資料管理人員間相互依賴性,進而大幅提升生產力與靈活度。 將儲存與常見的資料中心商用軟體緊密整合在一起,可使應用程式與伺服器管理員即使不用特地去學習儲存管理技巧,也不用經常求助儲存管理員,如此一來資料中心的效率將能大幅提升,更能實現最大的成本效益。 結論 由於資料儲存量呈現爆炸性成長,而資料對企業的重要性也愈來愈高,企業必須為資料中心制定一個能確保資料儲存與應用具備最大防護力與最佳化狀態。企業的營運體質取決於不間斷的資料可用性、牢不可破的資料安全,以及對變動環境的靈活應變能力。因此,簡化資料與儲存管理乃是今天與未來資料中心的第一關鍵要務。 |
如何建構企業專屬的雲端運算平台
陳中欣 |
雲端運算(Cloud Computing)或又有學者建議翻譯成”雲運算”,這個名詞真可說是繼”虛擬化(Virtualization)”後最被廣泛”應用”的名詞了!雲端運算彷彿代表了一個新科技、跨時代的新商機!一時之間各大軟硬體廠商、供應商、開發商什麼新的產品、服務、技術都強調跟雲端運算應用有關係,IDC指出2010年將是台灣雲端運算服務元年,資訊服務市場將有許多商機與重大改革與變化!Gartner更將雲端運算列為未來IT發展趨勢之首!有此可見其火紅程度與重要性!但到底”雲端運算”是什麼?對我們有什麼具體效益?現在導入有什麼風險?安不安全?有何標準可依循?這些的確是困擾著許多人的問題!底下我們將來做詳盡的探討。
什麼是雲端運算?
”雲(雲端)”其實指的就是”網路”,在繪製網路示意圖時,我們通常就是用一個雲狀圖案來代表”網路”,簡單來說”雲端運算”就是”網路運算”,使用者端不需安裝複雜軟體、不需使用或建置本地大量運算、儲存交換資源,只需一個連上網路的設備與簡單的介面(比方說瀏覽器),即可使用來自於雲端所有的資源,經由網路來完成各種複雜工作,這樣的運作方式就是”雲端運算”。引述美國國家標準與技術研究院(NIST)與維基百科對雲端運算的定義與說明如下:
美國國家標準與技術研究院(NIST)對雲端運算的定義-
“雲端運算是一種透過網路連結存取共享的運算資源池(如網路、伺服器、儲存空間、應用程式及服務)運作模式,可以在最少的管理工作或服務提供商介入下,自動迅速的提供資源配置和發佈。”
維基百科對雲端運算的定義-
“是一種基於網際網路運算的新方式,透過網際網路上的服務為個人和企業使用者提供按需即取的運算。由於資源是在網際網路上,而在電腦流程圖中,網際網路常以一個雲狀圖案來表示,因此可以形象地類比為雲端,『雲端』同時也是對底層基礎設施的一種抽象概念。” “雲端運算的資源是動態易擴充套件而且虛擬化的,透過網際網路提供。終端使用者不需要了解「雲端」中基礎設施的細節,不必具有相應的專業知識,也無需直接進行控制,只關注自己真正需要什麼樣的資源以及如何透過網路來得到相應的服務。”
“雲端運算”其實不代表一種技術而是一個概念,而在實做這樣的概念會依據產業及應用的不同衍生出不同的技術與架構,但什麼才是真正(我們需要)的雲端運算?只要是透過網路(雲)利用網路上的資源完成工作就是雲端運算,熱門的交友行銷平台Facebook、線上收發郵件的Gmail、P2P技術的檔案分享、方便備份的網路硬碟…等,伴隨來的如隱私、資安管控、服務品質…等問題,這是我們需要的?可以應用於企業內部?的確!不是所有的雲端運算服務都是可以應用在企業內的!甚至因為在本質上的不同、應用的範圍與依循的規範都應該不同,依據在國際上普遍被認同的”美國國家標準與技術研究院(NIST)”對雲端運算的定義(第15版),對雲端運算定義出五個關鍵特性、三個服務模式、四個部署模式,整體架構如下圖。
圖一 NIST定義的雲端運算架構
雲端運算-五個關鍵特性:
按需自助服務-可在客戶需要時配置運算能力,如伺服器時間和網絡存儲空間,無需供應商服務人員介入即可自動依需求提供服務。
廣泛的網絡存取-通過網絡提供服務,可支援各種標準的連線機制,包括各種精簡或厚實的客戶端(thin or thick client)平台(如行動電話、筆記型電腦或PDA),存取其他傳統或以雲為基礎的軟體服務。
資源池-供應商的運算資源彙集到資源池中,使用多重租戶模型,按照使用者需要,將不同的物理和虛擬資源動態地分配或再分配給多個消費者使用。雖然存在某種程度上的位置無關性,也就是說用戶無法控制或根本無法知道所使用資源的確切物理位置,但是原則上可以在較高抽象層面上來指定位置(例如國家、州、省、或者資料中心)。資源池範圍包括存儲、處理、記憶體、網路頻寬以及虛擬機等。即使是私有的雲(Private Cloud)往往也趨向將資源池虛擬化來為組織的不同部門提供服務。
快速彈性-服務能力可以快速、彈性地供應–在某些情況下自動地–實現快速擴容、快速上線。對於使用者來說,可供應的服務能力近乎無限,可以隨時按需要購買。
服務可測量-雲系統(Cloud System)之所以能夠自動控制優化某種服務的資源使用,是因為利用了經過某種程度抽象的測量能力(例如存儲、處理、頻寬
或者活動用戶帳號等)。人們可以監視、控制資源使用、並產生報表,報表可以對提供商和用戶雙方都全然透明的提供。
雲端服務經常和虛擬化技術一起使用或者架構於虛擬化技術平台,雲端運算不一定要與虛擬化技術綁在一起,但沒有虛擬化的確很難做到很好的資源分配及高可用性,這是必須要取捨考量的。
雲端運算-三個服務模式:
雲軟體即服務(Cloud Software as a Service-SaaS)-該功能提供給客戶使用提供商運行在雲基礎設施的應用程式。該應用程式可從不同的客戶端設備通過一個精簡客戶端(Thin Client)連接,如網頁瀏覽器(例如-基於網頁服務的電子郵件系統)。客戶不需管理或控制底層的雲基礎設施,例如網路、伺服器、作業系統、儲存空間,甚至其中單個的應用程式的功能,除非是某些例外、有限用戶特定應用程式的配置設定。
雲平台即服務(Cloud Platform as a Service-PaaS)-提供給用戶的是在雲基礎設施之上部署用戶創建或採購的應用程式,這些應用程式使用服務商支援的程式設計語言或工具開發平台,使用者不需管理或控制底層的雲基礎設施,包括網路、伺服器、作業系統、或儲存設備等,但是可以控制應用程式的部署以及應用程式主機的某個環境配置。
雲基礎設施即服務(Cloud Infrastructure as a Service-IaaS)-提供給客戶的是雲供應的處理、儲存、網路以及其它基礎性的運算資源,以供客戶部署或運行自己任何的軟體,包括作業系統或應用程式。使用者不需管理或控制底層的雲基礎設施,但是擁有對作業系統、儲存空間和部署應用程式的控制管理,以及一些網路元件的有限控制(例如-主機式防火牆等)。
雲端運算-四個部署模式:
公共雲(Public Cloud)-由某個組織擁有,其雲基礎設施對公眾或大產業集團提供雲服務。
私有雲(Private Cloud)-雲基礎設施特定為某個組織運行服務。可以是該組織或某個協力廠商負責管理,架構可以是在內部部署(on-premises)也可以是在外部部署(off-premises)。
社區雲(Community Cloud)-雲基礎設施由若干個組織共享,以支援某個特定的社區。社區是指有共同訴求和追求的團體(例如使命、安全要求、政策或合規性考慮等)。可以是該組織或某個協力廠商負責管理,架構可以是在內部部署(on-premises)也可以是在外部部署(off-premises)。
混合雲(Hybrid Cloud)-雲基礎設施由兩個或多個雲(私有的、社區的、或公共的)組成獨立存在,但是通過標準的或私有的技術綁定在一起,這些技術促成資料和應用的可移植性(例如-多個雲之間的負載平衡「cloud bursting」技術)。
有關私有雲(Private Cloud)於外部部署(off-premises)這方面的一個例子就是虛擬私有雲(VirtualPrivate Clouds)-以私有或半私有的形式來使用公共雲基礎設施,通常通過虛擬專用網-VPN將公共雲裡的資源連回客戶資料中心內部。
依據NIST對雲端運算的定義與說明僅是讓大家能比較容易了解雲端運算,因為雲端運算目前仍在不斷發展,不管是公共或私人單位對它的定義、應用、基本技術、問題、風險和效益都還在”熱烈”的討論中,當然這些定義、屬性和特性會隨時間演變和變化。
另外一個特別需要關注的是CSA(Cloud Security Alliance)在該組織發表的”Security Guidance for Critical Areas of Focus in Cloud Computing V2.1”文件中提到”多重用戶共享(Multi-Tenancy)”這樣的架構並將其視為雲端運算的一個重要元素。並指出雲端服務模式中的”多重用戶共享(Multi-Tenancy)”意味著滿足不同客戶環境對安全、分段、隔離、監管、服務水準以及相應的計費回饋等不同需求。用戶可能會使用公共雲服務提供商的服務產品或者是同一家組織內部的雲服務,例如不同的業務單位,並不是完全不同的商業組織,它們之間依然需要分享基礎設施。從提供商的角度來看,多重用戶共享(Multi-Tenancy)對架構和設計提出的要求是通過在很多不同客戶之間分享基礎設施、資料、中繼資料、服務和應用等,來實現可擴展、可用性、管理、分段、隔離以及運行效率等方面的“經濟性”。
理解每個雲端運算模式之間的關係和依賴性對於理解雲端運算的安全風險是非常重要的關鍵!IaaS是所有雲端服務的基礎,PaaS建立在IaaS之上,而SaaS又建立在PaaS之上,請參照”圖二 雲端運算的服務方式”。非常重要的一點是,目前大多數”商業”雲端服務提供商可能並沒有與這個模式對應,如果廠商無法滿足不同客戶環境對安全、分段、隔離、監管、服務水準以及相應的計費回饋等需求,那使用這些廠商的服務是不是意味將帶來很大的風險?
圖二 雲端運算的服務方式
導入雲端運算的效益與挑戰
藉由雲端運算方案導入對目前企業資料中心的現況有何幫助?列舉如下:
但要注意的是必須依據相關特性與應用要求選擇適合的服務方式及部署模式導入雲端運算方案,以服務方式來說:IaaS-供應商交付的是基礎架構設備(例如-主機、網路、儲存空間、作業系統…等),建議適合無足夠人力、資金自建管理資料中心之企業導入,但必須評估該供應商服務中斷造成的影響;PaaS-供應商交付的是開發應用程式的平台(開發程式語言、工具及資料庫)
,建議適合無足夠人力、資金自建管理資料中心及購買、管理開發工具平台之企業導入,但必須考慮私密性、相關法律責任及所有權問題,畢竟有可能置放在供應商平台上的是企業較為機密的相關程式資料;SaaS-供應商交付的是較為標準且大多為透過網頁方式存取的應用程式(例如-Zimba、SalseForceCRM),大多為中小型企業使用但也有可能需要因為法令規範或機密性問題甚至依據企業需要彈性移出、移回服務去取捨使用這樣的服務。
根據IDC針對企業應用雲端運算的分析報告,對企業來說有幾個項目是必須審慎考量評估的,例如-安全性、效能、可用性、與企業目前的IT整合、足夠的客製化、成本考量、未來可否從雲端移轉回來、符合法規要求、服務供應商能力是否足夠…等。
依據上述考量重點,以部署方式來說不管是公共雲、私有雲、社區雲、混和雲最重要的就是安全性!將對企業極為重要的系統服務、機密資料或是圖三 雲端運算的挑戰與問題
備份備援建置於企業外部的公共平台,不可諱言的風險的確會是比較高的!應該審慎評估雲服務供應商的資訊安全管理流程和能力(比方說ISO/IEC 27001/27002認證)的充足性、成熟度及與使用者資訊安全管理流程的整合性、配合度,並能提供與客戶建立服務水準協定(SLA)及配合安全部門政策合同契約協定來確保安全需求在合約層面上是可強制執行的。
再來便是效能與可用性的要求,供應商提供的雲服務效能品質必須是可以被量測、監控的而且能隨時提供透明且詳細的報告甚至是趨勢預估讓客戶能準確的計算未來準備投入的預算、設備、人力…等;供應商提供的雲端運算服務模式與傳統的主機租賃是截然不同的,必須提出詳細可以被信任的傳統的物理安全防護(HA)、業務連續性計畫(BCP)和災難恢復(DR)等機制,且必須接受客戶定期、不定期審查、監測與驗證。
綜合上述條件要求甚至再談到能與企業目前的IT整合、是否能提供足夠的客製化、成本考量、未來可否從雲端移轉回來、配合符合法規要求…等,我們必須這樣說目前市面上全然能滿足企業要求的公共雲供應商難度是很高的!對企業來說利用雲端運算效益、優勢建置一個專屬的雲端運算平台是最低風險且最值得投資的!
建構專屬雲端運算平台
如何建構一個企業專屬的雲端運算平台?第一步就基礎架構,如同前文提到的不管是PaaS、SaaP都必須架構於IaaS,而最重要的關鍵將會是虛擬化的導入,而虛擬化解決方案無庸置疑的就是全球市佔率84%的最佳品牌VMware,VMware vSphere可以幫助企業集中整合既有主機、儲存、網路資源,利用VMware VMotion、DRS、HA、FT確保設備高可用性、服務不中斷,VMwae Site Recovery Manager達成更快速更彈性的異地備份備援,透過虛擬化資源池概念提升資源使用率,並能迅速部署系統、應用程式(vApp),管理自動化來減少營運管理工作,透過VMware AppSpeed、CapacityIQ讓我們更容易做到服務的品質量測、評估並提供更好的服務等級。
圖四 雲端運算的重要關鍵”虛擬化”
但這樣仍是不夠的,這個企業級資料中心基礎架構還需要符合哪些需求?引用CSA對”多重用戶共享(Multi-Tenancy)”描述提到的…”滿足不同客戶環境對安全、分段、隔離、監管、服務水準以及相應的計費回饋等不同需求”,滿足不同”客戶”對企業來說可當作是滿足不同”分公司、部門或合作夥伴”,事實上針對企業這樣的需求業界網路、儲存、虛擬化三大原廠Cisco、NetApp、VMware前所未有的結盟合作並提出”安全的多重用戶設計架構(Secure Multi-tenancy Design Architecture)”強調是可以全面性兼顧需求且易於部署的雲端運算解決方案,滿足企業目前在專屬雲端運算平台的四大要求:
●安全獨立性(Secure Separation)-用戶在任何情況下都無法存取其他用戶的虛擬機器 (VM)、網路或儲存資源,每個用戶都可確實分隔 。
利用vSpherevShield、Nexus 1000v及UCS 資源切割達成運算層資源的完全的切割與隔離;利用ACL、VLAN及QoS技術達成網路層資源的完全的切割與隔離;利用NetAppvFiler搭配VLAN的管控達成儲存層資源的完全的切割與隔離。 圖五 安全獨立性架構(Secure Separation)
●服務品質保證(Service Assurance)-無論在正常作業期間或是在故障發生當下、或某些用戶造成異常負載時,皆必須維持優質而穩定的運算、網路與儲存效能。
利用vSphere資源池概念的保留(預留)、限制、共用與可擴充保留等特性及主機資源負載平衡DRS技術達成運算層資源的動態分配與品質保證;利用QoS技術做到佇列與頻寬控制達成網路層資源的動態分配與品質保證;利用NetAppFlexShare搭配Thin Provisioning儲存虛擬化技術的達成儲存層資源的動態分配與品質保證。 圖六服務品質保證(Service Assurance)
●高可用性(Availability)-基礎架構必須確保在萬一發生故障時,仍可使用必要的運算、網路與儲存資源。
利用vCenter Server Heartbeat(保護vCenter)、VMware HA(保護ESX Server)、vMotion/Storage vMotion(保護VM-虛擬機器)及UCS Fabric多重線路(Active/Active Mode)等技術達成運算層資源的高可用性;Nexus vPC、Cisco EtherChannel、Nexus 1000v(VSM-Active/Standby Mode)達成網路層資源的高可用性;利用NetAppRAID-DP(保護磁碟)、NetApp HA(保護儲存設備)、Snapshot(保護資料、作業系統及應用程式)、SnapMirror/SnapVault(本地異地備份備援)達成儲存層資源的高可用性。 特別說明的是透過VMware Site Recovery Manager、Cisco Nuxus與NetAppSnapMirror整合可達成不管是運算層、網路層或儲存層的自動化異地備援機制,也就是完成整個資料中心的高可用性架構,這樣的效益是其它廠商無法完整提供的。 圖七 高可用性(Availability)
●易管理性(Management)-可快速配置、管理及監控所有資源的能力。
值得一提的是不管是NIST、CSA或是普遍對雲端運算的管理要求,Cisco、NetApp及VMware提出的”安全的多重用戶設計架構(Secure Multi-tenancy Design Architecture)”對管理者來說-只要透過網路,經由簡單的用戶端程式或網頁瀏覽器就可以做到整個雲端運算平台服務的管理,並可在最少的管理工作或服務提供商介入下,自動迅速的提供資源配置和發佈;對使用者來說-不必具有相應的專業知識,也無需直接進行控制,只關注自己真正需要什麼樣的資源以及如何透過網路來得到相利用運算層VMware vCenter(監控資源使用狀況)、VMware AppSpeed(監控系統服務品質)、CapacityIQ(管理資源與使用趨勢預估)、Lifecycle Manager(使用者依需自助配置資源)及UCS Manager...等管理功能,網路層Cisco Data Center Network Manager管理功能及儲存層NetApp Operations Manager(包括Provisioning Manager及Protection Manager )管理功能可達成整體資料中心資源易管理性要求。
應的服務,這就是『企業專屬的雲端運算平台』。
圖八 易管理性(Management)
彈性端對端服務品質
目前的確鮮少有能對”端對端服務品質”的這項難題提出方案的廠商,常見的作法只能做到某一層(運算層、網路層或儲存層)的服務品質機制,以冀望能同時對下游或上游數層達到節流的目的。但事實上,不同的應用程式常會有不同的特性,有些可能需要密集運算、有些較耗用網路資源,有些則需要大量 I/O。僅只是限制 I/O,對於大量使用 CPU 的應用程式將難有效控制CPU使用率。若無法在這三層上都使用適當機制,就無法完全確保服務品質。
Amazon、Google 與其他幾家公司為了解決這樣的問題,皆已動龐大開發人力、歷時數年開發專屬軟體,建立其多重用戶共享或「雲端」服務,但遺憾的是這樣的”專屬軟體”是有局限的、是封閉的,無法提供給企業內部建置使用,Cisco、NetApp與VMware提供的”安全的多重用戶設計架構”是企業垂手可得的,而且相對建置起來容易且極富彈性。整體架構如下:
圖九安全的多重用戶設計架構(Secure Multi-tenancy Design Architecture)
整體方案提供彈性的端對端服務架構 (Resilient End-to-End Architecture),針對各階層上的主要軟、硬體元件強調提供高安全性、高服務品質、高可用度與更便利彈性的管理。
圖十彈性端對端服務架構 (Resilient End-to-End Architecture)
針對Cisco、NetApp與VMware提出的”安全的多重用戶設計架構”整體架構與效益部份,將其分成運算層、網路層、儲存層例舉幾個重點特色說明如下:
運算層 在運算層上,VMwarevSphere可提供健全的伺服器虛擬化環境,可將伺服器資源動態配置給在虛擬機器內執行的多個虛擬作業系統,並能夠確保資源被彈性且正常使用 (尤其是CPU與記憶體資源的使用)。其”資源池”是可彈性管理資源的邏輯概念,並且藉由資源的保留(預留)、限制、共用與可擴充保留等資源的資源池設計特性,獲得非常精細的控制性,並可讓您為某個用戶、系統、服務授與較高的優先權。 VMware VMotion、Storage VMotion透過這種兩種技術應用可確保企業資料中心的系統、服務、儲存空間在移轉過程中不會造成任何服務因此中斷。 VMware HA(High Availability)會持續監控資源池中的所有伺服器,並且偵測是否有故障,{0><}0{>而每一台ESX Server都會置放一個代理程式,以確認有伺服器彼此保持「心跳」並確保有足夠的備援資源,一旦某伺服器的「心跳」停止,就會對該ESX Server所有受影響的虛擬機器執行重新啟動於其他ESX Server。<0 br="" nbsp="">VMware Distributed Resource Scheduler (DRS)可持續監控各資源池中虛擬機器資源的使用情形,並以智慧方式為多部虛擬機器配置可用資源,而且完全自動化不需人為介入,使架構中的所有ESX Server內所有虛擬機器達到資源負載平衡。 VMware vShield Zone 可提供運算層內的安全性,它是 vSphere中附帶的一種集中管理、可設定狀態的分散式虛擬防火牆,可運用虛擬網路來建立安全性區域。 vShield Zone可整合至 VMware vCenter 中,可簡化防火牆規則的管理與信任區域的配置。 Cisco Unified Computing System(UCS) 是新一代的資料中心平台,可將運算、伺服器網路存取、儲存裝置存取與虛擬化整合在單一整合系統中。 UCS主體採用低延遲、不失真的 10 Gigabit乙太網路網路架構,整合並取代傳統乙太網路、儲存區域網路改善企業原有複雜、管理不易的架構,某種程度來說藉由這樣的特性是可以降低成本、提升效率的,並提供全新企業級的x86 架構伺服器,這樣的伺服器是整合式、可擴充的多機箱式平台,可讓所有運算資源統一管理且能彈性擴充,除了大幅節省資料中心空間並能達成節能成效。 在硬體層級上,Cisco UCS 會使用 Data Center Ethernet (DCE) 處理 Cisco UCS 系統內的所有流量。 這項業界標準的乙太網路強化功能會將乙太網路管道的頻寬分成八個虛擬通道,系統類別將決定這些虛擬通道中的 DCE 頻寬應如何配置給整個 Cisco UCS 系統,每個系統類別分別會為一個特定類型的流量保留一個特定頻寬區段,如此即可達成一定程度的流量管理彈性。 值得一提的是Cisco除了強調可以緊密與VMwarer結合提升虛擬化性(例如:Nexus 1000v、VN-Link技術或Nexus 1010-提升管理性與降低負載),Cisco UCS整體硬體設計也具備虛擬化、資源池這樣的概念,透過網界面的管理模組UCSM可以很容易地去建立”Sevice Profile”、”Pool”,而每個Service Profile(包含了服務器名稱、主機識別碼、MAC address、WWN/ WWPN、網路設定參數、SAN設定參數、韌體、BIOS設定、開機設定)是可以動態部署在任一欲使用的主機(刀鋒),當發生某一刀鋒主機故障僅需將Profile套用於未故障的主機上即可回復功能上線運作,而且每部主機(刀鋒)的網路(NIC)與HBA介面的都是虛擬化的可依需求設定數目或者是採取何種備援模式,這些設定都能更加提升設備高可用性、大幅降低故障停機帶來的影響! 相關對應的參數設定值以Pool(資源池)概念整合管理,可預先定義規畫好整個資料中心的IP、MAC、WWN…等資源參數(範圍),當有實體主機資源需求時透過簡易且彈性的管理介面可以自動核發相關設定值給每部主機迅速的完成實體主機的部屬,不需要太多管理與技術介入。 圖十一Cisco UCS部屬自動化、管理簡易且便利0>
網路層
改變以往網路與儲存架構,網路層可提供運算層與儲存層之間的安全網路連線以及與外部網路和用戶端的連線。 主要元件包括:
在網路層級上,流量會根據由 Nexus 1000v 所指定、並經由 UCS 系統受理或納入規則的服務類別 (CoS) 進行分段。 有兩種不同的方法可提供狀態穩定的效能保護:
企業可以透過規則制訂與速率限定,來定義服務保護、保證層級,底下例舉三種流量類型的規則制訂方式說明效益:
儲存層
儲存層由NetApp 統一化儲存系統所構成,依據企業對服務應用各種要求,可以同時支援SAN連線 (比方說SAN Boot或LUN)、ISCSI、NFS環境,特別建議的是透過乙太網路執行採用NFS環境的VMware架構,不但可提供大幅簡化管理與降低備份備援程序,還可降低建置成本。 NetAppMultiStore在共用儲存裝置環境可提供如同實體隔離儲存陣列的安全性與隔離等級,在單一儲存系統上建立多個完全隔離的邏輯分割區,在共用儲存時仍能保有隱私與切割,用戶不可逾越此分割區的界限。 除了安全性以外,對於用戶分割區中正在執行的應用程式,也確保其不會間接干擾到其他用戶分割區中的運作。其可為多重用戶共享環境提供安全的隔離性。 NetAppFlexShare可對 MultiStore 組態中的每個儲存磁碟區或每項 vFiler 裝置調整三個獨立參數,依據需要對某個用戶分割區設定較高的優先權。 提到真正的儲存虛擬化NetApp的確是不遑多讓,其資源配置亦可提供「隨需儲存」的功能,達成所有儲存資源集中且共用分享可以依據需要分割隔離,在多重用戶共享組態中可設定「磁碟區自動成長」、「Snapshot排程自動執行」、「Snapshot自動刪除」與「部分保留」的規則。 「磁碟區自動成長」可讓磁碟區以定義的增量值為單位進行擴充,並以預先定義的臨界值為上限。 「Snapshot 自動刪除」是一項自動化機制,可在磁碟區空間即將滿載時刪除最舊的 Snapshot 複本。「部分保留」可讓空間保留百分比隨著相關資料的重要性進行修改。 結論 對企業來說雲端運算平台的導入最重要的就是安全性、高可用性、品質保證,還有更重要的一點就是更少的成本(人力、物力及資金)投入;雲端運算代表的只是一個概念而且不斷的在延伸、變化,重點是在現今這個”人云亦雲”的大環境下,如何了解雲端運算的真締並善用其特性帶來的效益建構一個企業專屬的雲端運算平台,才是企業如何永續經營的真正關鍵!
參考文件:
|
2013年10月14日 星期一
2013年10月10日 星期四
雲端運算
雲端運算(Cloud Computing)並非技術,而是一種概念,是基於電腦技術的運用,發展而成的一種網路交流型態,「雲端」就是指「網路」,雲端運算就是利用網路溝通多台電腦的運算工作,或是透過網路連線取得由遠端主機提供的服務等。雲端運算技術最早是由Amazon所提出的,為了因應網路購物平台而生,之後Google、Microsoft先後跟進。
雲端運算是分散式運算(Distributed Computing)的新運用,透過網際網路將龐大的運算處理程序,自動分拆成無數個較小的子程序,再交由多部伺服器所組成的龐大系統,透過搜尋與運算分析之後,再將處理結果回傳給使用者端,所以分散式運算就是將大型工作區分成小塊後,分別交由眾多電腦各自進行運算再彙整結果。透過這項技術,網路服務提供者可以在數秒之內,處理數以千萬計甚至億計的資訊,達到「超級電腦」同樣強大效能的網路服務。
雲端運算是一種共享式IT基礎架構,好比是一台龐大的虛擬伺服器,把眾多電腦系統連結成大型資源庫,提供IT服務。由於雲端運算使用的是「虛擬」資源,因此不受遠端或近端電腦的限制。雲端運算與儲存能力需求大,將帶動磁碟陣列的需求應用 。
最簡單的雲端運算技術在網路服務中已被使用,例如搜尋引擎、網路信箱等,使用者只要輸入簡單指令即能得到大量資訊,未來如智慧型手機、衛星導航(GPS)等行動裝置都可以透過雲端運算,發展出更多的應用服務。雲端運算也可應用在生物科學,如分析基因結構(DNA)、基因圖譜定序、解析癌症細胞等。
各家雲端運算比較:
各家雲端技術比較
| ||||
微軟
|
Google
|
Yahoo
|
Amazon
| |
平台
|
Windows Azure
|
Google App Engine
|
Yahoo Application Platform
|
Amazon EC2
|
技術特性
|
整合不同裝置與網路服務
|
儲存與運算的水平擴充能力
|
儲存與運算的水平擴充能力
|
可彈性配置的通用虛擬機器
|
核心
技術 |
Window Server 2008與Hypervisor虛擬化技術
|
平行分散技術Hadoop、MapReduce、Hbase資料庫、HDFS檔案系統
|
Xen虛擬化技術
| |
企業
服務 |
Azure(pre-beta)
Live Mesh |
應用代管服務GoogleAppEngine,每月低於500萬瀏覽次的網站可免費代管,可使用500MB儲存空間。
|
YAP、
SearchMonke,使用Y!OS API的應用程式,可免費代管。 |
EC2,提供不同規格的虛擬機器供企業租用,但有規格上限。可動態新增多個虛擬機器分擔服務。
|
已支援的
開發 語言 |
.NET語言(IIS 7支援語言)
|
Web Python,未來會支援更多語言
|
PHP
|
企業可自行建置不同作業系統和平台的執行環境
|
已支援的資料庫系統
|
BigTable資料庫系統
|
HBase資料庫系統
|
提供S3儲存服務,企業可自行建置所需資料庫系統
| |
開源
程度 |
開放API
|
公開設計架構,程式碼未開源
|
完全開源
|
完全開源
|
計價方式
|
將按資源與服務等級(SLA)計價,細節未公布
|
按使用的處理器時間、儲存空間與網路流量計價
|
尚未公布
|
按使用的處理器時間、儲存空間與網路流量計價,也新增服務等級計價方式
|
資料來源:iThome
|
整體而言,就目前已知雲端運算服務來可歸類成以下6大項 :
1.Clients:存取Cloud Application的硬體或軟體,例如:行動裝置(Mobile)終端機(Thin client)瀏覽器(Thick client)。
2.Service (e.g.Web Service):機器對機器,透過網路提供某種服務。例如:身分驗證/網路付款/地圖/搜尋。
3.Application:基於眾多Service所建構出來的Application。通常不必經過安裝即可使用(但必須安裝 Clinet),減少軟體維護、不間段操作(?)以及支援的成本。例如只要安裝瀏覽器,便可以使用 Google Docs 來編輯文件、試算表、投影片,或是使用Gmail、Google Calender、Google Talk (以上四個整合起來成為Google App,而使用別的domain name )。
4.Platform: Service的提供者(網站的所有人)所規定的 Framework , Application必須依照Platform的規定來建立。
5.Storage:以資料儲存作為一種服務。(Storage as a Service)。
6.Infrastructure:以基礎資源(CPU、Memory)作為一種服務,通常是指虛擬化平台的環境(Infrastructure as Service)。例如買一台超級電腦,上面跑很多虛擬機器,每一台虛擬機器租給別人賺錢。而CPU( 幾核心)、記憶體(多大)的資源都可以依照需求設定。
資料來源
全世界漫步在雲端-淺談科技新知識『雲端運算』
林姿華
國立高雄師範大學工業科技教育學系碩士班研究生
壹、前言
雲端風暴已經來襲,這是一場正在改變全球十億人口使用電腦資訊的新革命!雲端運算(Cloud Computing)被視為明年全球十大企業科技趨勢之首,它所引發的炫風正襲擊著全世界,這是你不能不知道的科技新知識。雲端運算背後所隱藏的龐大商機、正吸引著Google、微軟Microsoft、IBM、蘋果Apple、 亞馬遜Amazon、甲骨文Oracle、惠普、戴爾、昇陽等科技龍頭,在今年大舉跨入雲端運算領域,搶占先機。根據美林證券估計,未來五年全球雲端運算市場規模將達到九百五十億美元,占全世界軟體市場的百分之十二。雲端運算的火紅程度,就連美國總統歐巴馬(Barack Obama)也要參一腳。今年九月,美國白宮資訊長坎卓(Vivek Kundra)宣布,運用雲端科技開發出來的新政府網站Apps.Gov.(見圖1),將取代舊有的IT資訊系統。據《紐約時報》(New York Times)報導,Apps.Gov預估將替美國政府每年省下七百五十億美元,約合新台幣二兆四千億元的支出。
圖1 美國新政府網站Apps.Gov.
資料來源:https://apps.gov/cloud/advantage/main/start_page.do
《經濟學人》(The Economist)更以「雲端上的戰爭」為題,點出Google、微軟(Microsoft)、蘋果(Apple)三巨頭在爭搶雲端運算商機的激烈程度。以目前的情勢來看,以搜尋引擎起家的網路巨擘Google居於領先地位,但是以生產個人電腦作業平台為主的微軟,也意識到這樣的改變,正投入大量的資源準備急起直追。 Google執行長施密特(Eric Schmidt)在演說中更大膽的說:「雲端運算引發的潮流將比個人電腦的出現更為龐大!」。這股強大的風暴更加速資訊產業所帶來的革命新局面。資訊科技產業界的每個人都在談論它,企業界的許多人也在問同樣的問題:「什麼是雲端運算?對我的企業有什麼影響?」隨著雲端運算平台愈來愈受歡迎,到底雲端運算在經濟不景氣的現在,從個人到企業提供了哪些獨特的優勢?
貳、雲端運算的演進
雲端運算技術(Cloud Computing)最早是由亞馬遜Amazon所提出的一種軟體技術,因應網路購物平台而生的雲端運算。之後Google、Microsoft也跟進,而這個技術,其實早就已經存在我們的生活中,而且應用持續擴大,成為生活中不可或缺的一部分。隨著網際網路急遽發展下,硬體效能與行動裝置的高速運算需求提升,加上寬頻的普及等各種面向,來觀察雲端運算的演進,可以由早期的網路撥接(Modem)談起,歷經網路伺服器(Web Server)、主機代管(Web Hosting)、到現今發展的應用程式代管(ASP)。
最簡單的雲端運算技術在網路服務中已經隨處可見,例如「搜尋引擎、網路信箱」等,使用者只要輸入簡單指令即能得到大量資訊;進一步的雲端運算不只是做資料搜尋、分析的功能,更可以運用在生物科學上,例如:解析癌症細胞、分析基因結構DNA、基因圖譜定序等;在未來更有智慧型手機(Smart phone)、衛星導航(GPS)等行動裝置都可以透過雲端運算,發展出更多的應用服務。
"Cloud" 這個字最早是Ramnath K. Chellappa教授以抽象、簡單的方式比喻複雜的電腦網路架構。在電腦流程圖中,網際網路常以一個雲狀圖案來表示(見圖2),因此可以形象地類比為雲運算。
電腦運算能力隨著網路慢慢聚集在伺服端,伺服端也因此聚集更大量的運算能力,因此我們藉由網際網路,不斷衍生出更多WWW及其相關的需求,許多公司紛紛開始提供網路服務,而且通常都是免費的,Web hosting、電子郵件、網路硬碟等。這些需求繼續刺激學界或業界產出相關的技術,尤其是Web Services或產品,並且也讓網路公司開始思考如何將企業營運所需的軟體功能,轉換成網路服務並讓企業能夠接受,這時候出現了新的名詞:「軟體即服務」(Software as a Service,SaaS)。在探討上述問題前,得先釐清,「Web 2.0」、「軟體即服務」(Software as a Service;SaaS)與「雲端運算」(Cloud Computing)有何關聯性。從近來Amazom、IBM、Google、微軟、甲骨文及奇摩等廠商所推出的產品服務來看,Web 2.0的概念在於「與使用者互動溝通」、SaaS則是其宣稱有助於企業「降低資訊投資成本」的服務傳遞新模式,而雲端計算則是實現上述應用的「新型態基礎建設架構」。
未來的資訊產業中,網際網路服務將是主流,越來越多的網路業者推出複雜而多功能的服務,包括Google、雅虎Yahoo、亞馬遜Amazon,以及一些社群網站大手筆購買伺服器,將多台電腦串聯起來,雲端運算順水推舟地成為最夯的網路互動概念。
參、雲端運算
一、雲端運算的定義
究竟什麼是雲端運算技術?它不是一個全新的技術,而是一個概念,因為 cloud computing 本身並不代表任何一項資訊科技的技術,它是一種電腦運算的概念。「簡單的說,就是把所有的資料全部丟到網路上處理!」Google台灣總經理簡立峰說。
雲端運算最簡單的意涵,就是將運算能力提供出來作為一種服務,使企業或個人可以透過網路取得,也就是讓網路上不同的電腦同時幫你做一件事,大幅增進處理所需要的速度。你所需要的資料,不用儲存在個人電腦上,而是放在網路的「雲」上面,在任何可以使用網路的地方就可以使用。有人主張將cloud computing翻譯為「計算雲」,但也有人將它解讀為「雲端運算」;「雲」即是我們最常使用的網際網路(Interent);「端」則是指使用者端(Client)。意思是指使用者運用網路服務來完成事情的方式,雲端運算的目標就是沒有軟體的安裝,所使用的資料都來自於雲端,使用者只需要連上雲端的設備與簡單的介面就可以了。雲代表了規模龐大的運算能力,由服務供應商建造大型機房,提供各種軟體應用,讓用戶隨時使用猶如超級電腦的運算能力與最新應用軟體,使用者卻不曉得伺服器的位置或資料的所在,就像是天上的雲一般,虛無飄渺又抬頭即見。
維基百科上解釋雲端運算(cloud computing),是一種基於網際網路的運算新方式,透過網際網路上異構、自治的服務為個人和企業使用者提供按需即取的運算。雲端運算的資源是動態、易擴充套件而且虛擬化的,透過網際網路提供的資源,終端使用者不需要了解「雲端」中基礎設施的細節,不必具有相應的專業知識,也無需直接進行控制,只關注自己真正需要什麼樣的資源以及如何透過網路來得到相應的服務。
二、雲端運算與網格運算的差別
雲端運算是一種電腦運算的概念,它本質上就是代表分散式運算 (distributed computing) 的概念。而分散式運算簡單的說,就是讓一些不同的電腦同時去幫你做事情、進行運算,所以不管你擁有幾台電腦,可以讓他們可以互相溝通,一起同時幫你做事情,這就是分散式運算。
有人或許同時也聽過網格運算(grid computing) 這個名詞,它是由一個鬆散耦合的電腦集群組成的一個超級虛擬電腦,通常是用來執行大型的任務,相信很多人覺得它跟雲端運算(cloud computing)很像,這兩者均可以說是由分散式運算 (distributed computing)所發展出來的概念。「cloud computing」 在概念上跟 「grid computing」 並沒有非常嚴格的區隔或是很大的不同,只是grid computing這個名詞出現得比較早,它將重點的概念放在異質系統之間運算資源的整合,簡單來說,就是讓不同等級的電腦、或是不同作業系統的電腦,彼此之間可以透過通訊標準來互相溝通,分享彼此的運算資源。在網際網路還沒有今天這麼發達之前,許多企業採用 grid computing,使用的原因是為了讓組織內部的網路資源達到更良好的效率,比較知名的網格運算應該是SETI(尋找外星人)計畫。
歸納出網格運算與雲端運算的差別在於,第一、網格運算以供專家使用居多,重點放在需要複雜運算的「單一任務」,例如基因定序、核爆模擬等,但雲端運算則比較偏大眾應用,大部份的人在使用時其實不需要進行複雜的運算,但是由於「大眾」的數量相當龐大,所以累積起來的運算需求也相對的非常可觀;第二、為了方便管理並充份運用伺服器的效能,雲端運算比較常使用「虛擬化」的技術;第三、以前的網格運算通常也只是使用專屬的應用協定和資料格式,但雲端運算則受到近幾年「網路服務」潮流的影響。但總而言之,我們能夠以「雲端運算是平民化的網格運算」這句話來說明他們之間的關係。
龐大的運算資源也就意味著提供更多樣化的新服務,所有的人現在可以在網路上,利用各大企業開放出來的運算資源,進行資料的運算或是提供服務給使用者,在這樣的情況之下cloud computing被提了出來。雲端運算的概念是以Web為前端,資料全部放後端,使用者本身不需要放置資料。這樣使用者可以不用擔心不同裝置上資料無法同步的問題,也可以隨時取用它。
舉例來說,只要在我們身邊可以找到用來上網的裝置,不管是手機或提款機都可以隨時取得我們要的資料。既然資料都放在雲端,運算自然應該也在雲端進行,因為這樣的效率最好,可以減少資料在使用者與雲端之間傳輸的時間。現在無論是一般的使用者或是開發者,都透過網路來取得資料或是進行資料運算,自己本身的運算資源雖然有限,還是可以透過網路進行複雜的運算,結果資料就像是從天上的雲端掉下來一樣。
肆、雲端運算的組成與架構
1960年,電腦科學家John McCarthy所提出雲端運算的基本概念,認為「電腦運算能力有一天可能會變成諸如自來水、鐵路之類的公用設施」。而「雲端運算」這個名詞為什麼會在這短時間內瞬間受到大家的關注?主要是因為Web興起所帶動的,近年來Web化的趨勢是將資料都放在伺服器上,既然資料都在伺服器上,運算最好要在接近資料的地方進行,所以運算也在伺服器上才是比較好的作法,運算完成之後,將運算後的結果傳遞到客戶端即可。伺服器需要龐大的運算能力才能應付眾多使用者所提出的運算需求,所以需要將許多伺服器串接起來。畢竟網路是由許多伺服器所組成,所以雲端運算的基礎是大量的伺服器,如果只用一部超級電腦當伺服器,一樣可以提供相當大的運算威力,這樣可以算是雲端嗎?恐怕不行,因為雲端運算強調的是許多伺服器聯合起來提供強大的運算能力。只有一部超級電腦或少數幾部電腦,恐怕太薄弱,無法形成雲,充其量是「水蒸氣」。
因此良好的雲端運算架構方式,必須具備以下三項特點:
一、彈性擴充:當運算規模增加,雲端要可以彈性變大,只要加上新的節點就可
一、彈性擴充:當運算規模增加,雲端要可以彈性變大,只要加上新的節點就可
以了,這樣的能力稱為水準擴充(horizontal scalability)。
二、負載平衡:讓伺服器之間的負載盡量平衡,免得某些伺服器太過繁忙,某些
二、負載平衡:讓伺服器之間的負載盡量平衡,免得某些伺服器太過繁忙,某些
卻太過閒置。
三、資料安全:資料重複(redundancy)存放在不同位置,確保資料安全。
伍、雲端運算的應用與發展
一、雲端運算對個人的影響
以前如果你要上網把要用的資料、程式抓下來,卻發現電腦硬碟容量太小或軟體版本不對必須更新,像這樣煩人的事情而把自己弄到手忙腳亂嗎?也因此你的個人電腦的功能必須夠強大,需要更快的中央處理器、更大的硬碟容量、不斷更新版本的軟體。但如果進入雲端,等於一下子擁有幾百台超級電腦在幫你處理,你可以不必再砸大錢升級電腦配備,就能享受高速運算的能力。
《經濟學人》指出,這代表一次大轉移,如果你可以在線上存放越來越多的資訊,也可以透過一般網頁瀏覽器取得各種軟體,擁有哪一款電腦或使用哪一種軟體突然間變得不是那麼重要了。雲端運算時代一旦真正來臨,你不必再背著筆記型電腦到處跑,電腦壞了、被偷了也不要緊,因為你的資料都在雲端上。只要一組帳號密碼,就可以把所有能上網的裝置,比方說隨便一支手機、一台衛星導航、甚至路邊的提款機,都變成你的個人電腦。
其實最簡單的雲端運算技術,在網路服務中已經隨處可見,使用者只要輸入簡單指令,就能得到大量資訊。現在有很多人已經將「照片」、「信件」、「行事曆」及「分享文件」等,放在網路上,用手機、用小筆電、用PDA裝置,隨時隨地,都可以取出來使用。
根據Jupiter Research估計,直至2012年全球上網人數將達四分之一。全世界的上網人數快速成長,難以計數的行動裝置包含可連線的電腦、手機一直到汽車、家電甚至相機等。雲端運算提供了一個平台,持續推動上網裝置的創新與開放性,以隨時連線並輕鬆取得最新的相關應用,讓使用者可整合多樣化的溝通管道和應用,如電話、電子郵件、文字、相片及Facebook狀態等,讓使用者能隨時更新。事實上,各式各樣的「雲」早就漂浮在你身旁,當你開啟Gmail帳戶、在無名小站或Flicker上使用相簿分享照片、用iPhone上傳下載各種軟體與遊戲的同時,你就已經漫步在雲端之上。雲端運算就是要把這些服務將更加完整、多樣化。
綜合來說,雲端運算對個人來說有以下優點:
(一)使用方便性:就是要讓你不必更新、不必花時間來安裝軟體,不必買伺服器,不必做維修,一切都由網路服務幫你搞定。
(二)立即可上線:只要藉由任何上網平台,就可立即連線、離線存取等功能。
(三)操作更輕鬆:無需擔心管理和維護任何伺服器基礎架構,即使是應用程式擴充至上千位使用者也一樣。
(四)程式開發社群:可加速應用程式開發,您可以加入由數千位開發人員所組成的社群,他們和您同樣專注於雲端計算基礎架構的商業應用程式開發。
二、雲端運算幫企業節省成本、提升效率
在不景氣的年代,使用雲端運算可直接幫企業節省成本、提升效率。雲端改變的不只是個人生活,對於中小企業的影響更為巨大。雲端的具體代表物,就是一望無際的大機房,難以計數的伺服器,需要更好的監控與調節系統,擁有相關技術的廠商也因而受惠。
(一)節省資金成本
IBM大中華區雲端運算總經理譚瑞忠表示,當前企業砸大錢蓋機房架構IT設備,使用率卻不到15%。換句話說,有將近85%的資源是浪費的。但如果改用雲端運算的技術,將機房設備維護、網路管理與軟體升級通通交給雲端處理。根據麥肯錫的研究報告,一家規模兩百人的公司,光是軟體的部分,至少可以比現在省下30%的成本。以防毒軟體為例,過去每出一個新版本,企業就得要花大錢重新安裝,光是重新買一套的防毒軟體光碟、安裝、適應新的作業系統,就要耗費大筆的人力物力;但如果跳上雲端,這些問題都迎刃而解,所有的更新都在雲端上處理,螢幕上不會再跳出惱人的防毒訊號與警語,同時針對自己的需求,不必再花錢買一堆用不到的功能。
(二)更新、升級更快速
用過電腦的消費者或企業,都有這樣煩人的經驗,經常要添購軟硬體設備,尤其是企業體資料流量大,需要有龐大的伺服器,要聘專人做維修與管理。擁有了這些以後,不見得可以就此高枕無憂,三天兩頭還要跟著軟體公司的腳步更新、升級;電腦出了狀況,要維修、要更新版本、要換零件。企業無需擔心管理和維護任何伺服器基礎架構,即使是應用程式擴充至上千位使用者也一樣。
三、企業使用雲端運算的優點
雲端計算基礎架構的基本概念已經受到許多全球最大企業的 CIO 們的青睞,這些一度持懷疑態度的主管們,在親身體驗過雲端運算技術所帶來的諸多效益之後,歸納出以下的幾項優點:
經過驗證的網路服務整合。
世界級的服務傳遞。
不需安裝任何硬體和軟體。
部署時速度更快,風險更低。
適合應用程式開發,支援深入自訂項目。
加強商業使用者的能力。
自動升級不影響 IT 資源。
四、雲端掀起產業商機
2009年3月,IBM、思科、EMC 、SAP等20多家知名科技公司、以及近100家小公司,共同發布「開放雲端宣言」(Open Cloud Manifesto):「雲端運算業者應同心協力,確保能透過公開合作和適度採用標準,解決使用雲端運算可能遭遇的挑戰,包括安全性、整合性、可攜性、互通性、管理、測量與監測等。」希望為雲端運算(Cloud Computing)建立標準,確保業者之間的相容性,讓客戶更容易轉換平台。
(一)雲端運算帶來龐大的商機
2009年,將有更多的企業將其營運所需的功能移到雲端運算,接著Google、IBM、微軟、Yahoo!等大廠也看上雲端運算的潛力,尤其這些大廠本身的條件很容易發展雲端運算,再加上虛擬化已經展現實用價值,兩相結合將有相乘效果,並且更加成熟(見圖3)。那麼雲端運算的商機有多大?根據國際數據資訊中心(IDC)的資料顯示,未來五年雲端服務的平均年成長率可望達到26%;市場調查機構顧能(Gartner)將雲端運算列為IT產業未來十大趨勢首位,其報告指出,至二○一二年《財星》(Fortune)五百大企業中會有四百家使用各式不同的雲端運算服務。 使Google、微軟、亞馬遜(Amazon)、IBM、戴爾、昇陽、惠普等各科技大廠,都大舉跨入雲端運算領域(見表1)。
圖3 網際網路龍頭跨入雲端運算領域
(includes Computer.svg by Sasa Stefanovic)
表1 雲端運算領域的分層
1、上級戰場—軟體服務(software as a service,SaaS)
打破以往大廠壟斷的局面, 所有人都可以在上面自由揮灑創意, 提供各式各樣的軟體服務。 競爭者:世界各地的軟體開發者 |
2、中間戰場—平台服務(platform as a service,PaaS) 打造程式開發平台與作業系統平台, 讓開發人員可以透過網路撰寫程式與服務, 一般消費者也可以在上面執行程式。 競爭者:Google、微軟、蘋果、Yahoo!
|
3、底層戰場—設備服務(infrastructure as a service,IaaS)
將基礎設備(如IT系統、資料庫等)整合起來, 像旅館一樣,分隔成不同的房間供企業租用。 競爭者:IBM、戴爾、昇陽、 惠普、亞馬遜 |
資料來源:資策會
(二)企業界在雲端上的競爭
過去新技術的推廣是沿著學界、政府、業界這條線發展,最後才是個人,現在個人反而變成新技術的最新採用者。積極推廣雲端服務的Google,也是從消費者開始,逐漸往企業端發展,漸次成形的Google Apps就是網路辦公室軟體,包括信箱、文件、投影片等。但Google並不因此而滿足,今年才上線的Google App Engine,更是一個網路平台,讓開發者可自行建立網路應用程式。
Google之外,微軟是另外一家積極推動雲端運算的大廠,微軟的策略是軟體+服務,強調產品的彈性化。十月微軟將發表最新的消費者產品線live與企業版Online動態,打算針對每一種現有的軟體,發展出「相應的雲端服務」。據美國《商業週刊》引用高盛調查指出,有9%的受訪者打算除了現有軟體,額外使用更多微軟的雲端服務。
除了Google與微軟結合自己的優勢,提供軟體與網路平台作為雲端服務外,還有更多其他領域的廠商,透過網路提供運算資源。最著名的例子就是網路零售業龍頭亞馬遜的「亞馬遜網路服務」(Amazon Web Service),把自己架設好的IT架構與資源開放給其他公司,《經濟學人》指出,亞馬遜跨入雲端運算領域,有可能成為下一波網路龍頭。在基礎架構方面,IBM也推出藍雲(Blue Cloud)計畫,建立第一座在中國無錫的大型商用數據中心,其他像是微軟、昇陽、惠普等也都有類似打算。
防毒軟體龍頭趨勢科技也不落於人後,使用全球首創的「雲端運算」技術進行防毒,也就是在網路上架一朵「防毒雲」,使用者不用像過去,得要把病毒碼下載到自己的電腦更新,而是在網路上即時偵測惡意程式,只要透過網路連上防毒雲,就能即時在網路上偵測病毒,既節省硬碟空間,也可縮短因應病毒爆發的處理時間。
五、雲端在台灣的發展
廣達董事長林百里說:現在談雲端就會像幾年前談網路一樣,再不上就落伍了,雲端是「破壞式創新」!Google在台大力推動雲端計畫的軟體工程師葉平說:「現在大家對電力的信賴,未來也會成為對雲端服務的信賴!」。
雲端運算被視為明年全球十大企業科技趨勢之首,IBM發表其「盤古雲端服務平台」在中國無錫的案例,並宣布與清大合作,將IBM雲端技術引進台灣。IBM中國研究院副院長黃瑩今天在台發表「盤古雲端服務平台」的架構和應用,以及7月起在中國無錫軟體區的經驗;「盤古雲端服務平台」以中小企業為主,為業者提供低成本、可擴充及高安全性的營運網路平台。
工研院也宣布成立「雲端運算行動應用科技中心」,將雲端運算視為資通訊產業帶來革命性的改變,為協助台灣業者能夠順利搶得先機,工研院特別成立雲端運算行動應用科技中心,未來工研院「雲端運算行動應用科技中心」將分別投入雲端硬體設備、系統軟體服務及雲端運算產業應用等的研發。
國內電子公司廣達,近期才以一千萬美元約合新台幣三億二千萬元取得美商IC設計公司Tilera特別股,投入雲端運算晶片設計,並與麻省理工學院(MIT)合作,啟動「Qmulous」計畫,成立新部門,將雲端運算列為未來十年的「新金礦區」。
顧能集團副總裁哈里斯(Mike Harris)分析,雲端趨勢對以代工見長的台灣廠商來說,是威脅也是機會。因為發展雲端科技的關鍵技術都掌握在國外大廠手中,台灣缺乏這方面的研發人才,難以與之抗衡;但如果能善用高度成熟的硬體設備技術,幫外商打造最新的貨櫃型資料中心,那絕對是一大利基。
國內電子公司廣達,近期才以一千萬美元約合新台幣三億二千萬元取得美商IC設計公司Tilera特別股,投入雲端運算晶片設計,並與麻省理工學院(MIT)合作,啟動「Qmulous」計畫,成立新部門,將雲端運算列為未來十年的「新金礦區」。
顧能集團副總裁哈里斯(Mike Harris)分析,雲端趨勢對以代工見長的台灣廠商來說,是威脅也是機會。因為發展雲端科技的關鍵技術都掌握在國外大廠手中,台灣缺乏這方面的研發人才,難以與之抗衡;但如果能善用高度成熟的硬體設備技術,幫外商打造最新的貨櫃型資料中心,那絕對是一大利基。
Google與IBM在2007年10月開始在美國大學校園,推廣雲端運算的計畫,這項計劃希望能降低分散式運算技術在學術研究方面的成本,並為這些大學提供相關的軟硬體設備及技術支援。國內大學推動雲端運算不落於人後,在2008年1月30日,Google宣佈在台灣啟動「雲端運算學術計畫」,將與台灣台大、交大等學校合作,將這種先進、快速的運算技術推廣到校園。
經濟部也持續推動產、學、研各界進行技術研發與產業發展,以期成為亞洲最佳國際創新研發基地之潛力。因此經濟部與資策會等單位才在雲端運算發展策略論壇中指出,台灣業者可以鎖定文化創意、醫療照護、觀光旅遊、綠色能源、生物科技與精緻農業等政府積極推動的六大新興產業,推出華文數位閱讀、K12數位教學、分散式電子病歷交換、國際人士來台觀光、整合通信、中小企業ERP、能源管理、健康銀行、醫療影像交換與科技農場等雲端服務。
六、雲端運算的挑戰與機會
你或許會想:「把我的資料丟到雲端上,安全嗎?」對此,張明正比喻,這就像是農業時代,人們賺了錢不是藏在床底下就是埋在土裡,但現在大家都會把錢存在銀行。「便利性終將超過對安全的顧慮」張明正說。
雲端運算前景一片看好,Gartner仍然預見了未來的挑戰及可能出現的問題。2007年3月,國際研究機構Forrester Research研究提出:穩定性、安全性、只有少數IT大廠能夠提供雲端服務、不曉得應用程式建置在那一個資料中心、能夠參照的企業案例很少,以及欠缺獨力軟體開發商支援等等問題都是發展雲端運算必須面臨的挑戰。
(一)軟體授權費問題
現階段Google或其他雲端運算業者提供的服務,都是自家的產品,例如Chrome作業系統、Gmail等;但是展望未來五年、十年,業者勢必會納入其他軟體廠商的產品,屆時軟體授權費用將如何計價,有待軟體廠商和雲端運算業者出面協商。
(二)安全性與機密性問題
根據北京微軟亞洲研究院院長洪小文表示「大型公司或政府單位用的系統,在安全性考量下,不太可能把資料放在別人那裡,因為涉及政府和公司的機密,所以這些單位要自己買伺服器、軟體,自己組雲、計算,服務於內部人員」。因此,企業的雲端運算,除了運算效能的考慮外,安全性與機密性,仍是企業相當重視的議題。另外,使用者的行為、習慣、愛好等被使用者視為隱私的部分,將會更直接地暴露在網路之上。
(三)供應商服務轉移彈性小
此外,網路的一致性和互通性也是問題。AT&T全球商業服務策略解決行銷副總裁偉曼(Joe Weinman)指出,目前雲和雲之間並無共同標準,也就是說企業用戶難以從一家服務供應商轉換到另外一家,降低了服務轉移的彈性。
(四)資料存取速度的穩定性
雲端畢竟是在遠方,資料的存取速度自然遠比不上自己電腦上的硬碟。所以除非客戶端連線到雲端的速度夠快,否則這會成為推廣雲端運算的障礙。更不用提萬一像Google App Engine來個大斷線、或者太平洋海底光纖斷線,頓時白雲變烏雲,那可就求救無門了。
陸、結論
儘管目前雲端運算發展尚未成熟,各方褒貶聲浪不斷,但從全球角度來看,雲端運算勢在必行,發展是遲早要進行的事。雖然現在國內只算是在萌發時期,政府和企業相關單位還是充滿不確定的因素,但是也有許多國內外的企業家已經投入龐大的資金以及心力,趨勢科技台灣區資深技術顧問戴燊說:「雲端,是我們不得不發展出來的技術!」從這句話可看的出來台灣科技產業推向雲端運算的決心。
台灣為全球包括電腦、手機、晶片及相關資通訊設備與關鍵零組件的主要設計與生產地,政府為創造下一波經濟發展的動能,持續推動科技的應用服務的發展,協助台灣業者快速進入雲端運算的新興市場。我國經濟部業與微軟公司簽署新的技術合作備忘錄,規劃在台灣成立「軟體暨服務卓越中心」,將與國內資訊產業共同開發使用在個人電腦、手機、電子書等手持裝置的雲端技術應用服務,擴大招募研發人才,共同將台灣打造為雲端運算產業鏈的重鎮。
參考文獻
曾國恭(2008)。以雲端運算服務建構之數位學習管理系統2.0。桃園:中原大學。
蔡鈞華(2008)。雲端運算SOA服務平台架構與運作機制之研究 。台北:國立政治大學。
曾世傑(2008)。雲端運算服務導向架構電子發票加值平台XML-based訊息轉換器與資料中心之研究。台北:國立政治大學。
劉俊宏(2008)。雲端運算環境下學習社群服務導向架構平台之研究。台北:國立政治大學。
沈國輝(2008)。雲端運算服務的應用在空軍資訊管理系統之初步研究。台北:國立臺灣科技大學。
鍾明男(2008)。雲端服務可獲利商業模式之探索性研究。台北:國立臺灣科技大學。
劉祥德(2008)。使用分散式雜湊表改善雙堆疊雲端檔案服務探索使用分散式雜湊表改善雙堆疊雲端檔案服務探索。宜蘭:國立宜蘭大學。
趙涵捷(2008)。雲端服務可獲利商業模式之探索性研究。宜蘭:國立宜蘭大學。
黃獻輝(2008)。雲端運算於企業應用之研究 。台北:淡江大學。
黃重憲(2009)。淺談雲端運算 (Cloud Computing)。台北:臺灣大學電機資訊學院資訊工程系 。
中央通訊社(2009)。IBM發表雲端運算中國經驗將引進台灣。2009年11月2日。
中央通訊社(2009)。經濟部與微軟簽署軟體暨服務卓越中心合作備忘錄。2009年11月4日。
數位時代(2009)。雲端運算風暴來襲。2008年10月1日。
許美玉(2009)。先探投資週刊1537期。2009年10月5日。
林麗美(2009)。Taiwan News國際財經˙文化月刊。2009年10月25日 。
蔡宜秀(2009)。進軍雲端服務市場前得先思考的議題。
ZDNet新聞專區。自由軟體之父Stallman:雲端運算是「蠢事」。2008月10日01。
賴榮樞的軟體資訊誌。雲端的形成。2009年01月09日 。
理財周刊。雲端運算概念股 台股正在興起。2008年08月20日。
數位時代。雲端運算風暴來襲。2008年10月01日。
商業週刊。雲端運算為何改變10億人。2009年11月08日。
國際財經文化月刊。雲端運算興起 資訊業戰火再啟。2009年10月25日。
中時電子報。雲端運算 引爆繪圖晶片商機。2009年11月16日。
經濟日報。雲端掀風潮 概念股搶商機。2009年10月25日。
IT知識分享社群 http://ithelp.ithome.com.tw/question/10000239
參考美國白宮:https://apps.gov/cloud/advantage/main/start_page.do
台灣省經濟部資策會網站
訂閱:
文章 (Atom)