虛拟存儲

虛拟存儲

計算機術語
虛拟存儲(Storage Virtualization)是指将多個不同類型、獨立存在的物理存儲體,通過軟、硬件技術,集成轉化為一個邏輯上的虛拟的存儲單元,集中管理供用戶統一使用。這個虛拟邏輯存儲單元的存儲容量是它所集中管理的各物理存儲體的存儲量的總和,而它具有的訪問帶寬則在一定程度上接近各個物理存儲體的訪問帶寬之和。
    中文名:虛拟存儲 外文名: 所屬學科: 英文名:Storage Virtualization 領域:計算機系統 相關:虛拟存儲器

簡介

根據程序執行的互斥性和局部性兩個特點,我們允許作業裝入的時候隻裝入一部分,另一部分放在磁盤上,當需要的時候再裝入到主存,這樣以來,在一個小的主存空間就可以運行一個比它大的作業。同時,用戶編程的時候也擺脫了一定要編寫小于主存容量的作業的限制。

也就是說,用戶的邏輯地址空間可以比主存的絕對地址空間要大。對用戶來說,好象計算機系統具有一個容量很大的主存儲器,稱為“虛拟存儲器”。存儲虛拟化技術是在大數據背景下發展起來的,是對計算機硬件存儲技術的革新,也是一種新的信息數據存儲方法。

分類

目前虛拟存儲的發展尚無統一标準,從虛拟化存儲的拓撲結構來講主要有兩種方式:即對稱式與非對稱式。對稱式虛拟存儲技術是指虛拟存儲控制設備與存儲軟件系統、交換設備集成為一個整體,内嵌在網絡數據傳輸路徑中;非對稱式虛拟存儲技術是指虛拟存儲控制設備獨立于數據傳輸路徑之外。從虛拟化存儲的實現原理來講也有兩種方式;即數據塊虛拟與虛拟文件系統。

對稱式虛拟存儲

存儲控制設備High Speed Traffic Directors(HSTD)與存儲池子系統Storage Pool集成在一起,組成SAN Appliance。可以看到在該方案中存儲控制設備HSTD在主機與存儲池數據交換的過程中起到核心作用。

該方案的虛拟存儲過程是這樣的:由HSTD内嵌的存儲管理系統将存儲池中的物理硬盤虛拟為邏輯存儲單元(LUN),并進行端口映射(指定某一個LUN能被哪些端口所見),主機端将各可見的存儲單元映射為操作系統可識别的盤符。

當主機向SAN Appliance寫入數據時,用戶隻需要将數據寫入位置指定為自己映射的盤符(LUN),數據經過HSTD的高速并行端口,先寫入高速緩存,HSTD中的存儲管理系統自動完成目标位置由LUN到物理硬盤的轉換,在此過程中用戶見到的隻是虛拟邏輯單元,而不關心每個LUN的具體物理組織結構。該方案具有以下主要特點:

(1)采用大容量高速緩存,顯著提高數據傳輸速度。

緩存是存儲系統中廣泛采用的位于主機與存儲設備之間的I/O路徑上的中間介質。當主機從存儲設備中讀取數據時,會把與當前數據存儲位置相連的數據讀到緩存中,并把多次調用的數據保留在緩存中;當主機讀數據時,在很大幾率上能夠從緩存中找到所需要的數據。直接從緩存上讀出。

而從緩存讀取數據時的速度隻受到電信号傳播速度的影響(等于光速),因此大大高于從硬盤讀數據時盤片機械轉動的速度。當主機向存儲設備寫入數據時,先把數據寫入緩存中,待主機端寫入動作停止,再從緩存中将數據寫入硬盤,同樣高于直接寫入硬盤的速度

(2)多端口并行技術,消除了I/O瓶頸。

傳統的FC存儲設備中控制端口與邏輯盤之間是固定關系,訪問一塊硬盤隻能通過控制它的控制器端口。在對稱式虛拟存儲設備中,SAN Appliance的存儲端口與LUN的關系是虛拟的,也就是說多台主機可以通過多個存儲端口(最多8個)并發訪問同一個LUN;在光纖通道100MB/帶寬的大前提下,并行工作的端口數量越多,數據帶寬就越高。

(3)邏輯存儲單元提供了高速的磁盤訪問速度。

在視頻應用環境中,應用程序讀寫數據時以固定大小的數據塊為單位(從512byte到1MB之間)。而存儲系統為了保證應用程序的帶寬需求,往往設計為傳輸512byte以上的數據塊大小時才能達到其最佳I/O性能。在傳統SAN結構中,當容量需求增大時,唯一的解決辦法是多塊磁盤(物理或邏輯的)綁定為帶區集,實現大容量LUN。

在對稱式虛拟存儲系統中,為主機提供真正的超大容量、高性能LUN,而不是用帶區集方式實現的性能較差的邏輯卷。與帶區集相比,Power LUN具有很多優勢,如大塊的I/O block會真正被存儲系統所接受,有效提高數據傳輸速度;并且由于沒有帶區集的處理過程,主機CPU可以解除很大負擔,提高了主機的性能。

(4)成對的HSTD系統的容錯性能。

在對稱式虛拟存儲系統中,HSTD是數據I/O的必經之地,存儲池是數據存放地。由于存儲池中的數據具有容錯機制保障安全,因此用戶自然會想到HSTD是否有容錯保護。象許多大型存儲系統一樣,在成熟的對稱式虛拟存儲系統中,HSTD是成對配制的,每對HSTD之間是通過SAN Appliance内嵌的網絡管理服務實現緩存數據一緻和相互通信的。

(5)在SAN Appliance之上可方便的連接交換設備,實現超大規模Fabric結構的SAN。

因為系統保持了标準的SAN結構,為系統的擴展和互連提供了技術保障,所以在SAN Appliance之上可方便的連接交換設備,實現超大規模Fabric結構的SAN。

非對稱式虛拟存儲系統

網絡中的每一台主機和虛拟存儲管理設備均連接到磁盤陣列,其中主機的數據路徑通過FC交換設備到達磁盤陣列;虛拟存儲設備對網絡上連接的磁盤陣列進行虛拟化操作,将各存儲陣列中的LUN虛拟為邏輯帶區集(Strip),并對網絡上的每一台主機指定對每一個Strip的訪問權限(可寫、可讀、禁止訪問)。

當主機要訪問某個Strip時,首先要訪問虛拟存儲設備,讀取Strip信息和訪問權限,然後再通過交換設備訪問實際的Strip中的數據。在此過程中,主機隻會識别到邏輯的Strip,而不會直接識别到物理硬盤。這種方案具有如下特點:

(1)将不同物理硬盤陣列中的容量進行邏輯組合,實現虛拟的帶區集,将多個陣列控制器端口綁定,在一定程度上提高了系統的可用帶寬。

(2)在交換機端口數量足夠的情況下,可在一個網絡内安裝兩台虛拟存儲設備,實現Strip信息和訪問權限的冗餘。

但是該方案存在如下一些不足:

(1)該方案本質上是帶區集——磁盤陣列結構,一旦帶區集中的某個磁盤陣列控制器損壞,或者這個陣列到交換機路徑上的銅纜、GBIC損壞,都會導緻一個虛拟的LUN離線,而帶區集本身是沒有容錯能力的,一個LUN的損壞就意味着整個Strip裡面數據的丢失。

(2)由于該方案的帶寬提高是通過陣列端口綁定來實現的,而普通光纖通道陣列控制器的有效帶寬僅在40MB/S左右,因此要達到幾百兆的帶寬就意味着要調用十幾台陣列,這樣就會占用幾十個交換機端口,在隻有一兩台交換機的中小型網絡中,這是不可實現的。

(3)由于各種品牌、型号的磁盤陣列其性能不完全相同,如果出于虛拟化的目的将不同品牌、型号的陣列進行綁定,會帶來一個問題:即數據寫入或讀出時各并發數據流的速度不同,這就意味着原來的數據包順序在傳輸完畢後被打亂,系統需要占用時間和資源去重新進行數據包排序整理,這會嚴重影響系統性能。

數據塊虛拟與虛拟文件

以上從拓撲結構角度分析了對稱式與非對稱式虛拟存儲方案的異同,實際從虛拟化存儲的實現原理來講也有兩種方式;即數據塊虛拟與虛拟文件系統。

數據塊虛拟存儲方案着重解決數據傳輸過程中的沖突和延時問題。在多交換機組成的大型Fabric結構的SAN中,由于多台主機通過多個交換機端口訪問存儲設備,延時和數據塊沖突問題非常嚴重。數據塊虛拟存儲方案利用虛拟的多端口并行技術,為多台客戶機提供了極高的帶寬,最大限度上減少了延時與沖突的發生,在實際應用中,數據塊虛拟存儲方案以對稱式拓撲結構為表現形式。

虛拟文件系統存儲方案着重解決大規模網絡中文件共享的安全機制問題。通過對不同的站點指定不同的訪問權限,保證網絡文件的安全。在實際應用中,虛拟文件系統存儲方案以非對稱式拓撲結構為表現形式。

實現方式

目前實現虛拟存儲主要分為如下幾種:

服務器廠商會在服務器端實施虛拟存儲。同樣,軟件廠商也會在服務器平台上實施虛拟存儲。這些虛拟存儲的實施都是通過服務器端将鏡像映射到外圍存儲設備上,除了分配數據外,對外圍存儲設備沒有任何控制。

服務器端一般是通過邏輯卷管理來實現虛拟存儲技術。邏輯卷管理為從物理存儲映射到邏輯上的卷提供了一個虛拟層。服務器隻需要處理邏輯卷,而不用管理存儲設備的物理參數。用這種構建虛拟存儲系統,服務器端是一性能瓶頸,因此在多媒體處理領域幾乎很少采用。

另一種實施虛拟的地方是存儲設備本身。這種虛拟存儲一般是存儲廠商實施的,但是很可能使用廠商獨家的存儲産品。為避免這種不兼容性,廠商也許會和服務器、軟件或網絡廠商進行合作。當虛拟存儲實施在設備端時,邏輯(虛拟)環境和物理設備同在一個控制範圍中,這樣做的益處在于:虛拟磁盤高度有效地使用磁盤容量,虛拟磁帶高度有效地使用磁帶介質。

在存儲子系統端的虛拟存儲設備主要通過大規模的RAID子系統和多個I/O通道連接到服務器上,智能控制器提供LUN訪問控制、緩存和其他如數據複制等的管理功能。這種方式的優點在于存儲設備管理員對設備有完全的控制權,而且通過與服務器系統分開,可以将存儲的管理與多種服務器操作系統隔離,并且可以很容易地調整硬件參數。

網絡廠商會在網絡設備端實施虛拟存儲,通過網絡将邏輯鏡像映射到外圍存儲設備,除了分配數據外,對外圍存儲設備沒有任何控制。在網絡端實施虛拟存儲具有其合理性,因為它的實施既不是在服務器端,也不是在存儲設備端,而是介于兩個環境之間,可能是最“開放”的虛拟實施環境,最有可能支持任何的服務器、操作系統、應用和存儲設備。

從技術上講,在網絡端實施虛拟存儲的結構形式有以下兩種:即對稱式與非對稱式虛拟存儲。

從目前的虛拟存儲技術和産品的實際情況來看,基于主機和基于存儲的方法對于初期的采用者來說魅力最大,因為他們不需要任何附加硬件,但對于異構存儲系統和操作系統而言,系統的運行效果并不是很好。基于互聯設備的方法處于兩者之間,它回避了一些安全性問題,存儲虛拟化的功能較強,能減輕單一主機的負載,同時可獲得很好的可擴充性。

不管采用何種虛拟存儲技術,其目的都使為了提供一個高性能、安全、穩定、可靠、可擴展的存儲網絡平台,滿足節目制作網絡系統的苛刻要求。根據綜合的性能價格比來說,一般情況下,在基于主機和基于存儲設備的虛拟存儲技術能夠保證系統的數據處理能力要求時,優先考慮,因為這兩種虛拟存儲技術構架方便、管理簡單、維護容易、産品相對成熟、性能價格比高。

在單純的基于存儲設備的虛拟存儲技術無法保證存儲系統性能要求的情況下,我們可以考慮采用基于互連設備的虛拟存儲技術。

特點

虛拟存儲具有如下特點:

(1)虛拟存儲提供了一個大容量存儲系統集中管理的手段,由網絡中的一個環節(如服務器)進行統一管理,避免了由于存儲設備擴充所帶來的管理方面的麻煩。例如,使用一般存儲系統,當增加新的存儲設備時,整個系統(包括網絡中的諸多用戶設備)都需要重新進行繁瑣的配置工作,才可以使這個“新成員”加入到存儲系統之中。

而使用虛拟存儲技術,增加新的存儲設備時,隻需要網絡管理員對存儲系統進行較為簡單的系統配置更改,客戶端無需任何操作,感覺上隻是存儲系統的容量增大了。

(2)虛拟存儲對于視頻網絡系統最有價值的特點是:可以大大提高存儲系統整體訪問帶寬。存儲系統是由多個存儲模塊組成,而虛拟存儲系統可以很好地進行負載平衡,把每一次數據訪問所需的帶寬合理地分配到各個存儲模塊上,這樣系統的整體訪問帶寬就增大了。

例如,一個存儲系統中有4個存儲模塊,每一個存儲模塊的訪問帶寬為50MBps,則這個存儲系統的總訪問帶寬就可以接近各存儲模塊帶寬之和,即200MBps。

(3)虛拟存儲技術為存儲資源管理提供了更好的靈活性,可以将不同類型的存儲設備集中管理使用,保障了用戶以往購買的存儲設備的投資。

(4)虛拟存儲技術可以通過管理軟件,為網絡系統提供一些其它有用功能,如無需服務器的遠程鏡像、數據快照(Snapshot)等。

應用

由于虛拟存儲具有上述特點,虛拟存儲技術正逐步成為共享存儲管理的主流技術,其應用具體如下:

數據鏡像

數據鏡像就是通過雙向同步或單向同步模式在不同的存儲設備間建立數據複本。一個合理的解決方案應該能在不依靠設備生産商及操作系統支持的情況下,提供在同一存儲陣列及不同存儲陣列間制作鏡像的方法。

數據複制

通過IP地址實現的遠距離數據遷移(通常為異步傳輸)對于不同規模的企業來說,都是一種極為重要的數據災難恢複工具。好的解決方案不應當依賴特殊的網絡設備支持,同時,也不應當依賴主機,以節省企業的管理費用。

磁帶備份增強設備

過去的幾年,在磁帶備份技術上鮮有新發展。盡管如此,一個網絡存儲設備平台亦應能在磁帶和磁盤間搭建橋路,以高速、平穩、安全地完成備份工作。

實時複本

出于測試、拓展及彙總或一些别的原因,企業經常需要制作數據複本。

實時數據恢複

利用磁帶來還原數據是數據恢複工作的主要手段,但常常難以成功。數據管理工作其中一個重要的發展新方向是将近期内的備分數據(可以是數星期前的曆史數據)轉移到磁盤介質,而非磁帶介質。用磁盤恢複數據就象閃電般迅速(所有文件能在60秒内恢複),并遠比用磁帶恢複數據安全可靠。同時,整卷(Volume)數據都能被恢複。

應用整合

存儲管理發展的又一新方向是,将服務貼近應用。沒有一個信息技術領域的管理人員會單純出于對存儲設備的興趣而去購買它。存儲設備是用來服務于應用的,比如數據庫,通訊系統等等。通過将存儲設備和關鍵的企業應用行為相整合,能夠獲取更大的價值,同時,大大減少操作過程中遇到的難題。

在數字視頻網絡中的應用

現在我着重介紹虛拟存儲在數字視頻網絡中的應用。

數字視頻網絡對廣播電視行業來說已經不是一個陌生的概念了,由于它在廣播電視技術數字化進程中起到了重要的作用,國内各級電視台對其給予極大的關注,并且開始構造和應用這類系統,在數字視頻網的概念中完全打破了以往一台錄象機、一個編輯系統、一套播出系統的傳統結構。

而代之以上載工作站、編輯制作工作站、播出工作站及節目存儲工作站的流程,便于操作和管理。節目上載、節目編輯、節目播出在不同功能的工作站上完成,可成倍提高工作效率。同時,由于采用非線性編輯系統,除了采集時的壓縮損失外。信号在制作、播出過程中不再有任何損失,節目的技術質量将大大提高。

在現有的視頻網絡系統中,雖然電腦的主頻、網絡的傳輸速率以及交換設備的性能,已經可以滿足絕大多數應用的要求,但其中存儲設備的訪問帶寬問題成為了系統的一個主要性能瓶頸。視頻編輯、制作具有數據量存儲大、碼流高、實時性強、安全性重要等特點。這就要求應用于視頻領域的存儲技術和産品必須具有足夠的帶寬并且穩定性要好。

在單機應用時,為了保證一台編輯站點有足夠的數據帶寬,SCSI技術、本地獨立磁盤冗餘陣例RAID(Redundant Array of Independent Disks)技術(包括軟件和硬件)被廣泛應用,它通過把若幹個SCSI硬盤加上控制器組成一個大容量,快速響應,高可靠性的存儲子系統。

從用戶看可作為一個邏輯盤或者虛拟盤,從而大大提高了數據傳輸率和存儲容量,同時利用糾錯技術提高了存儲的可靠性,并可滿足帶寬要求。

随着節目制作需求的發展,要求2—3台站點共享編輯數據。這時可利用SCSI網絡技術實現這一要求。幾台編輯站點均配置高性能的SCSI适配器,連接至共享的SCSI磁盤陣列,既可以實現幾個站點共享數據,又可以保證每一台單機的工作帶寬。

光纖通道技術的成熟應用對視頻網絡的發展具有裡程碑的意義,從此主機與共享存儲設備之間的連接距離限制從幾米、十幾米,擴展到幾百米、幾千米,再配合光纖通道交換設備,網絡規模得到幾倍、十幾倍的擴充。這時候的FC(Fibre Channel光纖通道)磁盤陣列——RAID容錯技術、相對SCSI的高帶寬、大容量,成為視頻網絡中的核心存儲設備。

随着電視台規模的發展,全台級大規模視頻網絡的應用被提出。在這種需求下,就必須将更先進的存儲技術與産品引入視頻領域。存儲區域網(SAN)的發展目前正處于全速上升期,各種概念層出不窮。其中具有劃時代意義的是虛拟存儲概念的提出。

相對于傳統的交換機加RAID陣列,主機通過硬件層直接訪問陣列中的硬盤的SAN結構,虛拟存儲的定位是将數據存儲功能從實際的、物理的數據存取過程中抽象出來,使普通用戶在訪問數據時不必關心具體的存儲設備的配置參數、物理位置及容量,從而簡化用戶和系統管理人員的工作難度。

當然,這些因素之間有時是相互制約的,特别是系統成本與性能和安全性的關系。如何在這些因素之間尋求合理的、實用的、經濟的配合,是一個需要解決的課題。虛拟存儲技術的出現,為我們在構建視頻網絡系統時提供了一個切實可行的高性能價格比的解決方案。

從拓撲結構來講,對稱式的方案具有更高的帶寬性能,更好的安全特性,因此比較适合大規模視頻網絡應用。非對稱式方案由于采用了虛拟文件原理,因此更适合普通局域網(如辦公網)的應用。

相關詞條

相關搜索

其它詞條