當前位置:首頁 » 存儲配置 » ibm存儲虛擬化

ibm存儲虛擬化

發布時間: 2023-01-13 12:53:27

存儲虛擬化的存儲技術

存儲系統必須在能力和性能上直線升級,將問題推給硬體系統並不是解決辦法。存儲虛擬化需要全新的軟體方式來平衡擴容體系架構來實現數以千兆的數據傳輸和存儲。
相關的存儲技術主要有以下幾點:
基於主機的存儲虛擬化依賴於代理或管理軟體,它們安裝在一個或多個主機上,實現存儲虛擬化的控制和管理。由於控制軟體是運行在主機上,這就會佔用主機的處理時間。
因此,這種方法的可擴充性較差,實際運行的性能不是很好。基於主機的方法也有可能影響到系統的穩定性和安全性,因為有可能導致不經意間越權訪問到受保護的數據。
這種方法要求在主機上安裝適當的控制軟體,因此一個主機的故障可能影響整個SAN系統中數據的完整性。軟體控制的存儲虛擬化還可能由於不同存儲廠商軟硬體的差異而帶來不必要的互操作性開銷,所以這種方法的靈活性也比較差。
但是,因為不需要任何附加硬體,基於主機的虛擬化方法最容易實現,其設備成本最低。使用這種方法的供應商趨向於成為存儲管理領域的軟體廠商,而且目前已經有成熟的軟體產品。
這些軟體可以提供便於使用的圖形介面,方便地用於SAN的管理和虛擬化,在主機和小型SAN結構中有著良好的負載平衡機制。從這個意義上看,基於主機的存儲虛擬化是一種性價比不錯的方法。
基於存儲設備的存儲虛擬化方法依賴於提供相關功能的存儲模塊。如果沒有第三方的虛擬軟體,基於存儲的虛擬化經常只能提供一種不完全的存儲虛擬化解決方案。對於包含多廠商存儲設備的SAN存儲系統,這種方法的運行效果並不是很好。
依賴於存儲供應商的功能模塊將會在系統中排斥JBODS(Just a Bunch of Disks,簡單的硬碟組)和簡單存儲設備的使用,因為這些設備並沒有提供存儲虛擬化的功能。當然,利用這種方法意味著最終將鎖定某一家單獨的存儲供應商。
基於存儲的虛擬化方法也有一些優勢:在存儲系統中這種方法較容易實現,容易和某個特定存儲供應商的設備相協調,所以更容易管理,同時它對用戶或管理人員都是透明的。但是,我們必須注意到,因為缺乏足夠的軟體進行支持,這就使得解決方案更難以客戶化(customzing)和監控。
一般而言,存儲虛擬化的實現方式的另外一種分類方法是將其分為三種:交換架構虛擬化,磁碟陣列虛擬化,以及整合到應用設備內的虛擬化。對於三種不同的虛擬化方式,存儲供應商都有各自的獨門兵器。飛康的IPStor/NSS 存儲虛擬化產品在2001年就已經出現在市場上 ,截止2014年已經正式發布了其第七代存儲虛擬化產品,技術成熟度和廣泛的應用范圍都具備良好的可參考性。飛康 NSS 在接管底層存儲子系統的磁碟卷時,可以採用兩種方式來實現接入:一種是將底層磁碟卷直接虛擬化為Virtual Disk(虛擬磁碟)以供NSS管理和分配;另一種可將磁碟卷轉換為SED(Service-Enabled Devices)磁碟設備以供NSS管理和分配。當轉換為SED設備時,磁碟卷原有數據不會被修改,可以快速通過NSS分配給主機系統,整個接入過程非常簡單,不需要數據遷移,停機時間很少,當然也可以實現快速回退,磁碟重新分配給原主機系統,可以被正確識別和使用IBM自兩年前推出SVC(SAN卷控制器)(IBM SAN Volume Controller 對於存儲虛擬化,IBM SAN Volume Controller(SVC)能夠將多個磁碟系統的容量整合為一個單一的「容量池」。SVC 可幫助節省空間和能源,並能通過合並來簡化存儲資產的管理,這將極大地提高現有存儲器的利用率,並減少額外的存儲需求。)產品後,在這一領域獨占鰲頭。去年,HDS(日立數據系統有限公司)緊隨其後發布了TagmaStore通用存儲平台(USP),這是基於磁碟陣列的解決方案。近幾個月,EMC公司新發布的Invista網路存儲虛擬解決方案則是基於存儲交換的解決方案。

❷ 存儲性能和空間利用率哪個重要

最大限度地挖掘存儲系統的性能潛力是用戶永遠的追求,但是,面對眾多性能優化技術,還必須考慮到底是性能重要還是空間利用率重要。
在當前經濟形勢低迷的大背景下,挖掘現有存儲系統的性能潛力成為用戶的必然選擇,不過追求性能只是一個方面。
看到的現象是大多數存儲系統的空間利用率還不到50%,而且存儲控制器的處理能力也只用到一小部分,這些都是讓用戶不可接受的事實。
在數據中心應用領域,通過伺服器整合以及虛擬化技術,物理伺服器的資源已經被最大化的利用起來,與此相反的是,存儲效率低下的問題卻成為用戶的痛點。
若要實現伺服器虛擬化的高效率,存儲系統就必須跟得上,這是一個必要的前提,因此伺服器虛擬化應用推動著存儲技術向更高效的方向發展。
在虛擬化環境中,當前端伺服器數量不斷增加,後端存儲陣列的不足便暴露出來,尤其表現在缺乏細粒度的分配和調動空間資源的能力方面。
因此,如果用戶希望對數據中心進行高度整合,那麼伺服器虛擬化技術和高效的存儲技術二者缺一不可。
存儲效率是一個綜合性的指標,實現最佳的存儲效率意味著要在有效存儲空間以及可用處理資源兩方面都有出色表現,通常也是各產品之間相互競爭的重點。
StorageIO高級分析師GregSchulz說,「為了達到應用所需的IOPS能力,有些存儲系統被設計得很大,通過大量磁碟的並發來提升IOPS,可是空間利用率卻非常低,反之,追求空間利用率的最大化往往需要藉助存儲精簡技術,比如壓縮和重復數據刪除等等,但是這些功能會對系統性能帶來負面的影響「。
因此,達成高效的存儲就需要在容量和性能之間尋找一個平衡點,根據應用需求的不同,對容量、處理能力、性能以及成本進行控制和優化。
保證存儲效率有哪些基本條件優化存儲系統的性能,本質上就是要盡可能地提高存儲處理資源的利用率,同時盡量消除系統的瓶頸或阻塞。
隨著處理資源利用率的增加,剩餘的處理資源以及響應額外處理請求的能力相應的就會降低。
而且如果緩沖區太小,那麼系統達到性能上限(瓶頸)的可能性就非常大。
舉個例子來說,一個平均處理資源利用率在50%的磁碟陣列不太可能觸及性能上限(瓶頸),而對於一個利用率達到80%的系統來說,這個可能性就要大得多。
高效存儲技術及其對性能、容量和成本的影響由存儲廠商或第三方公司提供的內嵌在存儲系統內部或在外部附加的運行報告、監控以及存儲分析功能是十分重要的,它們可以幫助用戶更好的了解系統的運行情況,避免系統過度(過高)配置,並減少很多後期維護工作。
尤其是當用戶需要優化性能或者按需增加處理資源時,這些組件的作用就會體現的非常明顯。
對此,StorageIO高級分析師GregSchulz評價道:「無論是性能問題還是容量問題,好好利用存儲廠商或第三方公司提供的工具都是十分重要的。
」這些工具不僅能夠幫助用戶定位性能的問題,更重要的方面在於它們可以幫助用戶選擇出最恰當的解決方案。
衡量一套存儲系統的性能並不能依賴某個單一指標,而要考慮多種組合因素,它們每一項都對應用程序訪問數據的速度有所影響。
其中,IOPS、吞吐帶寬和訪問延遲這三項指標是最關鍵的。
不過,指標數據究竟是好是壞還要考慮應用環境的差異,包括工作負載的類型(隨機請求或者順序請求)、數據塊的大小、交易類型(讀或是寫),以及其他相關的能夠影響性能的因素都依賴於應用程序本身的特點。
比方說,如果是流媒體視頻應用,那麼大文件快速順序讀性能和大數據塊是最重要的;
而如果是虛擬化應用環境,那麼隨機讀性能通常是最主要的考察指標。
下面的部分,將縱覽那些可以優化性能並且提高存儲資源利用率的技術,這里沒有獨門秘籍,因為每一種方法都有其優點和缺點。
通過堆砌磁碟數量來提高性能磁碟驅動器是一種機械裝置,讀寫磁頭通過在高速旋轉碟片的內道和外道之間往復移動來尋找並讀寫數據。
即使是轉速最快的15000轉磁碟,其磁頭機械臂的重定位時間延遲都會有數毫秒之多,因此每個磁碟的IOPS值最多隻有幾百個,吞吐帶寬則局限在100MB/秒以內。
通過將數據分布在多個磁碟上,然後對多個磁碟同步進行讀寫訪問是一種常見的擴展性能的方法。
通過增加磁碟的個數,系統整體的IOPS和帶寬值也會等比例提升。
加之,有些存儲廠商還提供shortstr好ing這樣的可以縮短磁頭機械臂移動距離的技術。
此類技術可以將數據集中放置在磁碟碟片的外道區域,結果是磁頭移動的距離大大縮短,對數據訪問的性能具有十分明顯的提升作用。
可是,當通過利用大量的磁碟並發以及short-str好ing磁頭短距離移動技術達成既定的性能目標之後,會發現其代價是非常高昂的,此外,由於僅僅使用了碟片的外道空間,所以存儲的空間利用率會非常差。
早在SSD固態盤技術出現之前,利用大量的磁碟並發以及short-str好ing磁頭短距離移動技術來滿足應用的性能要求是最普遍的辦法,即使在今天,這種方案依然被大量使用,原因是SSD固態盤的成本太高,所以用戶依然青睞磁碟而不是SSD。
NatApp技術和戰略總監MikeRiley就說:「對於順序訪問大數據塊和大文件這樣的應用,使用磁碟通常性價比更高。
」RAID及wide-striping技術對效率的影響很多用戶容易忽視一點,即RAID和RAID級別其實都會對性能和容量產生影響。
通過改變RAID級別來提升存儲性能或者空間的利用率是一種很現實的選擇。
校驗盤的數量、條帶的大小、RAID組的尺寸以及RAID組內數據塊大小都會影響性能和容量。
RAID技術對性能和容量的影響都熟悉那些常見的RAID級別及其特點,但還有一些不常見的技術趨勢值得關注,這些都與討論的存儲效率有關。
首先,RAID組的尺寸會影響性能、可用性以及容量。
通常,大的RAID組包含的磁碟數量更多,速度也更快,但是,當出現磁碟故障後,大RAID組也需要更多的時間用來重建。
每隔幾年,磁碟的容量都會翻一番,其結果是RAID重建的時間也相應變的更長,在數據重建期間出現其他磁碟故障的風險也變得更大。
即使是帶有雙校驗機制,允許兩塊磁碟同時出現故障的RAID6也存在風險增加的問題,況且,RAID6對性能的影響還比較大。
有一個更好的辦法是完全打破傳統RAID組和私有校驗盤的概念,比如,NetApp的DynamicDiskPools(DDP)技術,該技術將數據、校驗信息以及閑置空間塊分散放置在一個磁碟池中,池中所有的磁碟會並發處理RAID重建工作。
另一個有代表性的產品是HP的3PAR存儲系統,3PAR採用了一種叫做widestriping的技術,將數據條塊化之後散布在一大堆磁碟上,同時磁碟自身的裸容量又細分成若干小的存儲塊(chunklet)。
3PAR的卷管理器將這些小的chunklet組織起來形成若干個micro-RAID(微型RAID組),每個微型RAID組都有自己的校驗塊。
對於每一個單獨的微型RAID組來說,其成員塊(chunklet)都分布在不同的磁碟上,而且chunklet的尺寸也很小,因此數據重建時對性能的沖擊和風險都是最小的。
固態存儲毫無疑問,SSD固態存儲的出現是一件劃時代的「大事兒「,對於存儲廠商來說,在優化性能和容量這兩個方面,SSD技術都是一種全新的選擇。
與傳統的磁碟技術相比,SSD固態盤在延遲指標方面有數量級上的優勢(微秒對毫秒),而在IOPS性能上,SSD的優勢甚至達到了多個數量級(10000以上對數百)。
Flash技術(更多的時候是磁碟與flash的結合)為存儲管理員提供了一種更具性價比的解決方案,不必像過去那樣,為了滿足應用對性能的高要求而不得不部署大批量的磁碟,然後再將數據分散在磁碟上並發處理。
SSD固態盤最佳的適用場景是大量數據的隨機讀操作,比如虛擬化hypervisor,但如果是大數據塊和大文件的連續訪問請求,SSD的優勢就沒有那麼明顯了。
EMC統一存儲部門負責產品管理與市場的高級副總裁EricHerzog說:「Flash的價格仍然10倍於最高端的磁碟,因此,用戶只能酌情使用,而且要用在刀刃上。
」目前,固態存儲有三種不同的使用方式:第一種方式,用SSD固態盤完全代替機械磁碟。
用SSD替換傳統的磁碟是最簡單的提升存儲系統性能的方法。
如果選擇這個方案,關鍵的一點是用戶要協同存儲廠商來驗證SSD固態盤的效果,並且遵循廠商提供的建議。
如果存儲系統自身的處理能力無法承載固態存儲的高性能,那麼SSD有可能會將整個系統拖垮。
因為,如果SSD的速度超出了存儲控制器的承受范圍,那麼很容易出現性能(I/O阻塞)問題,而且會越來越糟。
另一個問題涉及到數據移動的機制,即的數據在什麼時候、以何種方式遷移到固態存儲上,或從固態存儲上移走。
最簡單但也最不可取的方法是人工指定,比如通過手動設定將資料庫的日誌文件固定存放在SSD固態存儲空間,對於比較老的存儲系統來說,這也許是唯一的方式。
在這里推薦用戶使用那些自動化的數據分層移動技術,比如EMC的FAST(FullyAutomatedStorageTiering)。
第二種方式,用Flash(固態存儲晶元)作為存儲系統的緩存
傳統意義上的DRAM高速緩存容量太小,因此可以用Flash作為DRAM的外圍擴展,而這種利用Flash的方式較之第一種可能更容易實現一些。
Flash緩存本身是系統架構的一個組成部分,即使容量再大,也是由存儲控制器直接管理。
而用Flash作緩存的設計也很容易解決數據分層的難題,根據一般的定義,最活躍的數據會一直放置在高速緩存里,而過期的數據則駐留在機械磁碟上。
與第一種方式比較,存儲系統里所有的數據都有可能藉助Flash高速緩存來提升訪問性能,而第一種方式下,只有存放在SSD固態盤中的數據才能獲得高性能。
初看起來,用Flash做高速緩存的方案幾乎沒有缺陷,可問題是只有新型的存儲系統才支持這種特性,而且是選件,因此這種模式的發展受到一定的制約。
與此相反,看到用Flash做大容量磁碟的高速緩存(而不是系統的高速緩存)反而成為更普遍的存儲架構設計選擇,因為它可以將高容量和高性能更好的融合。
IBM存儲軟體業務經理RonRiffe說:「在一套磁碟陣列中,只需要增加2-3%的固態存儲空間,幾乎就可以讓吞吐帶寬提高一倍。
」在伺服器中使用Flash存儲卡。
數據的位置離CPU和內存越近,存儲性能也就越好。
在伺服器中插入PCIeFlash存儲卡,比如Fusion-IO,就可以獲得最佳的存儲性能。
不太有利的一面是,內置的Flash存儲卡無法在多台伺服器之間共享,只有單台伺服器上的應用程序才能享受這一好處,而且價格非常昂貴。
盡管如此,仍然有兩個廠商對此比較熱衷,都希望將自己的存儲系統功能向伺服器內部擴展。
一個是NetApp,正在使其核心軟體DataOntap能夠在虛擬機hypervisor上運行;
另一個是EMC,推出的功能叫做VFCache(原名叫ProjectLightning)。
顯而易見,這兩家公司的目標是通過提供伺服器端的Flash存儲分級獲得高性能,而這種方式又能讓用戶的伺服器與提供的外部存儲系統無縫集成。
存儲加速裝置存儲加速裝置一般部署在伺服器和存儲系統之間,既可以提高存儲訪問性能,又可以提供附加的存儲功能服務,比如存儲虛擬化等等。
多數情況下,存儲加速裝置後端連接的都是用戶已有的異構存儲系統,包括各種各樣的型號和品牌。
異構環境的問題是當面臨存儲效率低下或者性能不佳的困擾時,分析與評估的過程就比較復雜。
然而,存儲加速裝置能夠幫助已有磁碟陣列改善性能,並將各種異構的存儲系統納入一個統一的存儲池,這不但可以提升整個存儲環境的整體性能、降低存儲成本,而且還可以延長已有存儲的服役時間。
最近由IBM發布的是此類產品的代表,它將IBM的存儲虛擬化軟體SVC(SANVolumeController)以及存儲分析和管理工具集成在一個單獨的產品中。
可以將各種異構的物理存儲陣列納入到一個虛擬存儲池中,在這個池之上創建的卷還支持自動精簡配置。
該裝置不但可以管理連接在其後的存儲陣列中的Flash固態存儲空間,而且自身內部也可以安裝Flash固態存儲組件。
通過實時存儲分析功能,能夠識別出I/O訪問頻繁的數據以及熱點區域,並能夠自動地將數據從磁碟遷移到Flash固態存儲上,反向亦然。
用戶可以藉助的這些功能大幅度的提高現有的異構混合存儲系統環境的性能和空間利用率。
與IBM類似的產品還有Alacritech和Avere,它們都是基於塊或基於文件的存儲加速設備。
日益增加的存儲空間利用率利用存儲精簡技術,可以最大化的利用起可用的磁碟空間,存儲精簡技術包括自動精簡配置、瘦克隆、壓縮以及重復數據刪除等等。
這些技術都有一個共同的目標,即最大程度的引用已經存在的數據塊,消除或避免存儲重復的數據。
然而存儲精簡技術對系統的性能稍有影響,所以對於用戶來說,只有在明確了性能影響程度並且能夠接受這種影響的前提下,才應該啟動重復數據刪除或數據壓縮的功能。
性能和容量:密不可分存儲系統的性能和空間利用率是緊密相關的一對參數,提升或改進其中的一個,往往會給另一個帶來負面的影響。
因此,只有好好的利用存儲分析和報表工具,才能了解存儲的真實性能表現,進而發現系統瓶頸並採取適當的補救措施,這是必要的前提。
總之,提高存儲效率的工作其實就是在性能需求和存儲成本之間不斷的尋找平衡。

❸ 虛擬化技術的分類

硬體虛擬化 虛擬機(Virtual machine或VM),可以像真實機器一樣運行程序的計算機的軟體實現 攜帶型應用程序,允許程序在攜帶型設備中運行而不用在操作系統中安裝 跨平台虛擬化,允許針對特定CPU或者操作系統的軟體不做修改就能運行在其他平台上,例如Wine 虛擬設備,運行於虛擬化平台之上,面向應用的虛擬機映像 模擬器 完全虛擬化,敏感指令在操作系統和硬體之間被捕捉處理,客戶操作系統無需修改,所有軟體都能在虛擬機中運行,例如IBM CP/CMS,VirtualBox,VMware Workstation 硬體輔助虛擬化,利用硬體(主要是CPU)輔助處理敏感指令以實現完全虛擬化的功能,客戶操作系統無需修改,例如VMware Workstation,Xen,KVM 部分虛擬化,針對部分應用程序進行虛擬,而不是整個操作系統 准虛擬化/超虛擬化(paravirtualization),為應用程序提供與底層硬體相似但不相同的軟體介面,客戶操作系統需要進行修改,例如早期的Xen 操作系統級虛擬化,使操作系統內核支持多用戶空間實體,例如Parallels Virtuozzo Containers,Unix-like系統上的chroot,Solaris上的Zone 平台虛擬化,將操作系統和硬體平台資源分割開 應用程序虛擬化,在操作系統和應用程序間建立虛擬環境 虛擬內存,將不相鄰的內存區,甚至硬碟空間虛擬成統一連續的內存地址 存儲虛擬化,將實體存儲空間(如硬碟)分隔成不同的邏輯存儲空間 網路虛擬化,將不同網路的硬體和軟體資源結合成一個虛擬的整體 虛擬專用網路(VPN),在大型網路(通常是Internet)中的不同計算機(節點)通過加密連接而組成的虛擬網路,具有類似區域網的功能 存儲器虛擬化,將網路系統中的隨機存儲器聚合起來,形成統一的虛擬內存池 桌面虛擬化,在本地計算機顯示和操作遠程計算機桌面,在遠程計算機執行程序和儲存信息 資料庫虛擬化 軟體虛擬化 服務虛擬化 虛擬化發展時間線

❹ svc是什麼意思

SVC是Switching Virtual Circuit的縮寫,意思是交換虛擬電路。

Svc在通信中也是個極其重要的東西,那就是可伸縮視頻編碼技術,這是一種視頻通話里具有變革意義的技術。

可能一開始,svc技術不被人們認可,認為它只不過是一種編碼,而且還會出現錯誤。但是隨著時間的推移和svc技術的發展,這種技術在視頻編碼中越來越重要。

(4)ibm存儲虛擬化擴展閱讀

作用:高壓靜止無功補償裝置

靜止無功補償器是由晶閘管所控制投切電抗器和電容器組成,由於晶閘管對於控制信號反應極為迅速,而且通斷次數也可以不受限制。

當電壓變化時靜止補償器能快速、平滑地調節,以滿足動態無功補償的需要,同時還能做到分相補償。

對於三相不平衡負荷及沖擊負荷有較強的適應性;但由於晶閘管控制對電抗器的投切過程中會產生高次諧波,為此需加裝專門的濾波器。

❺ 存儲虛擬化的目前狀況

存儲的虛擬化技術自本世紀初誕生以來,歷經了十餘年的技術演進與市場考驗。發生變化的不僅是技術本身,而更多的是用戶的實際應用需求。早期存儲虛擬化技術出現的主要目的是為了幫助用戶對異構存儲資源進行池化和整合,提高使用和管理效率,合理降低TCO。而近年來基於SAN的存儲虛擬化技術越來越多被應用於有效提升核心生產系統的業務連續性,數據安全性以及平滑的跨存儲陣列的數據遷移能力
盡管關於虛擬化的宣傳鋪天蓋地,企業界採用虛擬存儲技術的腳步還是頗為緩慢。根據IDC對269名來自不同規模的公司的IT經理的調查,僅僅只有8%的企業正在應用任何一種形式的虛擬化。並且僅有平均23%的企業表示計劃將在未來12個月里嘗試實施一定程度的存儲虛擬化。
中端存儲用戶主要期望用於對數據遷移進行管理,減輕管理負擔;大型企業則主要期望將虛擬存儲中的數據復制、卷管理用於存儲預備。不管是哪個虛擬化陣營的廠商都面臨著不同的壓力,並有待在真實環境中接受考驗。
用戶在對存儲子系統升級擴容時,不僅把性能與容量指標作為首要考慮對象,對於整個生產存儲系統的高可用性,以及業務連續性保障能力的要求也逐漸成為規劃建設初期進行考慮的重點!為了有效實現業務連續性保障目標,解決存儲子系統的單點故障問題,合理引入存儲虛擬化技術已經成為最為行之有效的手段之一,比如通過存儲虛擬化技術實現不同品牌型號陣列間的實時鏡像,幫助用戶實現存儲子系統的冗餘能力。這一點在VMware虛擬化環境中幾乎變成唯一可行的存儲系統高可用性解決方案;又比如通過精簡帶寬的遠程復制,數據錄像或密集時間點的可恢復快照功能,來有效實現對於邏輯故障的防禦,控制運維成本投入等。最終,通過一套統一的系統功能來實現對生產系統的業務連續性保障,方便,簡單,大大減少了運維人員的壓力。
近來,兼容異構存儲 ,同時具備完整數據保護和管理功能的成熟存儲虛擬化產品也被廣泛應用於兩地三中心容災以及雙活數據中心的建設當中,作為一種積極的,可靠的技術手段有效提升用戶原有生產系統對各類型災難的防禦能力。
目前而言沒有任何一家已經穩固佔領了市場,迄今為止,IBM似乎有最高的銷售記錄,但也僅僅只是接近於領導地位。IBM SVC於2004年左右上市,從某種維度上看SVC 似乎與飛康的NSS形態和設計都很類似,都是基於Linux內核和x86工業標准伺服器。IBM基於SVC的I/O GROUP引擎開發出了其目前整個V系列的存儲產品線,比如常見的v7000系列存儲系統 。SVC早起存儲虛擬化功能較為單一,僅支持對異構存儲的基本管理和池化,所以IBM曾經視圖收購飛康,未果後也與2010年左右升級了其SVC 軟體版本,逐漸提供了一些相應的高級功能。
另一個就是飛康 NSS,作為存儲虛擬化技術的先驅之一,飛康的IPStor/NSS 存儲虛擬化產品在2001年就已經出現在市場上,截止2014年已經正式發布了其第七代存儲虛擬化產品,技術成熟度和廣泛的應用范圍都具備良好的可參考性。自創立以來,一直堅持開放硬體的態度,獲得眾多用戶和第三方存儲廠商的青睞,很多國內外存儲廠商的技術人員都曾經接觸過該產品。飛康官方宣稱,以OEM方式或自主品牌銷售的NSS產品安裝量已超過數萬套。豐富而實用的功能設計以及長期經受市場考驗的產品穩定性和可靠性,應該是飛康IPStor/NSS產品的主要特點。
根據企業策略集團公司(ESG)的建立人,高級分析師SteveDuplessie的報告,SVC已完成1500多套系統的售出。該數據還被英國一家調研公司所證實。Cisco系統公司最近收購了ToPSPin公司,於是也擁有了把伺服器虛擬化、存儲虛擬化和網路虛擬化連接起來的能力。Topsin的虛擬化核心技術能夠給Cisco帶來大筆的技術財富,如果Cisco公司在收購它之後選擇全力實現虛擬性能,結果勢必令人矚目。盡管已經取得了不小的成就和地位,但在存儲領域Cisco仍然是一個玩票性質的參與者。Cisco面臨的挑戰在於所有的數據復制,存儲預備以及其他核心存儲功能的知識產權都在存儲供應商手中,Cisco要想占優勢,除了自身產品的研發與市場以外,還需要加強和這些主流存儲系統廠商的合作與溝通。
在這場大賽中還有一個低調的實力派就是微軟。微軟在過去的兩年裡已默默地把自身建設成一支存儲領域的強大軍隊,並且最近還克服了一些阻礙發展虛擬化的許可證等問題。在這場虛擬化的混戰中,微軟也許有些姍姍來遲,但憑借微軟在軟體領域的絕對地位,微軟很可能會爆出一些驚人的技術,也許會把虛擬化變為伺服器操作系統的一部分。
eG Innovations創始人兼總裁兼首席執行官Srinivas Ramanathan表示從存儲虛擬化格局改變的角度來看,他認為存儲虛擬化將走伺服器虛擬化所走過的路。Ramanathan解釋道:幾年前,伺服器虛擬化的焦點還在虛擬機管理器。現在,虛擬機管理器已經變成商品。所有的虛擬化公司都在關注管理性,以便為虛擬化客戶提供成本節約和靈敏性。在我看來,幾年後,存儲虛擬化也將接著伺服器虛擬化進入成熟期。
盡管伺服器虛擬化已經成為主流,但是Ramanathan表示存儲虛擬化離主流還有一定距離。他表示:現在的主要焦點是證明這個技術是有效的。幾年後,管理性將更加重要--如何充分利用現有的硬體,如何在不同主機上動態遷移VM(虛擬機)等。
Infortrend Technology副總監Galvin Chang表示存儲虛擬化的第一階段是要能夠整合和處理來自不同廠商的存儲硬體的I/O命令。Chang表示,在存儲虛擬化的下一階段,下列這些問題將變得更加重要:向外擴展存儲,分層和虛擬化存儲,針對雲數據中心的虛擬化存儲,以及負載均衡。
根據Chang的說法,在虛擬化環境中使用向上擴展存儲只會增加容量和導致不必要的資源浪費;只有向外擴展架構可以提高存儲性能和獲取來自虛擬化的好處。Chang還表示虛擬化存儲可以提供不同層次的存儲管理服務,包括SSD、SAS、SATA甚至VTL(虛擬磁帶庫)。
至於雲服務要求,Chang認為虛擬化的存儲可以提供不同的好處,包括可擴展性、無宕機數據管理以及更低的成本。他表示另一個關鍵問題將是當多個存儲控制器引入一個虛擬化存儲池的時候如何平衡控制器工作負荷和主機帶寬。Chang指出:廠商們可以部署智能主機代理端或利用網路層協議來進行負載共享。

❻ 什麼是虛擬化技術

虛擬技術是一種通過組合或分區現有的計算機資源(CPU、內存、磁碟空間等),使得這些資源表現為一個或多個操作環境,從而提供優於原有資源配置的訪問方式的技術。虛擬化就是把物理資源轉變為邏輯上可以管理的資源,以打破物理結構之間的壁壘。
虛擬化環境需要多種技術的協調配合:伺服器和操作系統的虛擬化、存儲虛擬化、以及系統管理、資源管理和軟體提交,與非虛擬化環境一致的應用環境。

❼ Hyper-V的技術

談到虛擬化技術想必大家現在並不陌生,在整個IT產業中,虛擬化已經成為關鍵詞,從桌面系統到伺服器、從存儲系統到網路,虛擬化所能涉及的領域越來越廣泛。虛擬化並不是一個很新潮的技術,如x86虛擬化的歷史就可以追溯到上世紀九十年代,而IBM虛擬化技術已經有40年的歷史。虛擬化的初衷是為了解決「一種應用佔用一台伺服器」模式所帶來的伺服器數量劇增,導致數據中心越來越復雜,管理難度增加,並且導致能耗和熱量的巨大增長等問題。早期的虛擬化產品完全基於軟體並且非常復雜,執行效率比較低下,並沒有得到廣泛的應用。Windows Server 2008是通過Hyper-V的虛擬化技術來實現虛擬化的。
如今虛擬化技術已經得到了飛速的發展,主要的操作系統廠商和獨立軟體開發商都提供了虛擬化解決方案,同時,硬體上的支持使虛擬化執行效率大大提高,自2006年誕生第一顆支持虛擬化技術的處理器以來,目前在x86構架中絕大多數處理器都開始支持虛擬化技術。
虛擬化技術可以定義為將一個計算機資源從另一個計算機資源中剝離的一種技術。在沒有虛擬化技術的單一情況下,一台計算機只能同時運行一個操作系統,雖然我們可以在一台計算機上安裝兩個甚至多個操作系統,但是同時運行的操作系統只有一個;而通過虛擬化我們可以在同一台計算機上同時啟動多個操作系統,每個操作系統上可以有許多不同的應用,多個應用之間互不幹擾。
通過虛擬化我們可以有效提高資源的利用率。在數據機房我們經常可以看到伺服器的利用率很低,有時候一台伺服器只運行著一個很小的應用,平均利用率不足10%。通過虛擬化我們可以在這台利用率很低的伺服器上安裝多個實例,從而充分利用現有的伺服器資源,可以實現伺服器的整合,減少數據中心的規模,解決令人頭疼的數據中心能耗以及散熱問題,並且節省費用投入。 監控Hyper-V虛擬機的基本網路流量統計很簡單,但是由於Hyper-V中網路的虛擬化方式,執行實際的數據包捕獲就很難了。下面是多個選擇:
計數器
最基本的監控是給定VM的簡單帶寬利用率,這一點都不難。Hyper-V有四個基本的網路性能計數器群組,可以通過記錄和分析來了解Hyper-V本身和每個獨立虛擬機的網路流量。
網路介面
這個計數器設置描述Hyper-V中使用的物理網路設備。這種設置的計數器可用來查看Hyper-V中流入流出的流量作為一個整體運行得怎麼樣。
Hyper-V虛擬交換機
可以統計Hyper-V虛擬機之間交換的流量。還有一個相似的計數器設置叫做Hyper-V虛擬交換機埠,用戶可以看到這個交換機上某個特定埠的數據統計。
Hyper-V遺留網路適配器和Hyper-V虛擬網路適配器
這兩個性能計數器設置提供特定虛擬機的網路活動詳細信息。這些計數器組中每一個的子設置都有一個VM易記的名字,還有其網路適配器的名字,加上VM和適配器的GUID,防止用戶使用Windows管理規范(WMI)查詢。
這兩個計數器設置的最大不同在於用戶監控的VM是否使用了集成服務。很明顯,用戶想要在任何可能的時候使用集成服務,並且使用虛擬網路適配器計數器。沒有集成服務運行的虛擬機需要使用遺留網路適配器計數器,盡管這會帶來一定的效能損失。
數據包捕獲
如果在一個Hyper-V實例中,用戶要監控所有來自或去向虛擬機的數據包級網路流量怎麼辦?也就是說,要進行數據包檢查和網路捕獲。不幸的是,現在還沒有在Hyper-V本身中直接這么做的方法。虛擬網路適配器還沒有混合模式,某種程度上是為了增強安全性和VM間的獨立性,也是為了保護管理程序本身。 除了在構架上進行改進之外,Hyper-V還具有其它一些變化:Hyper-V基於64位系統:微軟的新一代虛擬化技術Hyper-V是基於64位系統的,我們知道,32位系統的內存定址空間只有4GB,在4GB的系統上再進行伺服器虛擬化在實際應用中沒有太大的實際意義。在支持大容量內存的64位伺服器系統中,應用Hyper-V虛擬出多個應用才有較大的現實意義。微軟上一代虛擬化產品Virtual Server和Virtual PC則是基於32位系統的。
硬體支持上大大提升:Hyper-V支持4顆虛擬處理器,支持64GB內存,並且支持x64操作系統;而Virtual Server只支持2個虛擬處理器,並且只能支持x86操作系統。並且在Hyper-V中還支持VLAN功能。支持Hyper-V伺服器虛擬化需要啟用了Intel-VT或AMD-V特性的x64系統。Hyper-V基於微內核Hypervisor架構,是輕量級的。Hyper-V中的設備共享架構,支持在虛擬機中使用兩類設備:合成設備和模擬設備。
Hyper-V提供了對許多用戶操作系統的支持:Windows Server 2003 SP2、Novell SUSE Linux Enterprise Server 10 SP1、Windows VistaSP1 (x86)和Windows XP SP3 (x86)、windows XP SP2 (x64)。在剛剛發布的Hyper-V RC1代碼中還增加了對Windows 2000 Server SP4以及Windows 2000 Advanced Server SP4的支持。 Windows Server 2012 中的 Hyper-V 在許多方面都做了改進。下表列出了此版本 Hyper-V 中最明顯的功能變化。有關這些變化以及此處未列出的其他功能變化的詳細信息,請參閱Hyper-V 中的新功能。 特性/功能 新功能或更新功能 摘要 客戶端 Hyper-V(Windows; 8 Release Preview 中的 Hyper-V) 新功能 通過使用 Windows 桌面操作系統創建和運行 Hyper-V 虛擬機。 Windows PowerShell 的 Hyper-V 模塊 新功能 使用 Windows PowerShell cmdlet 可創建和管理 Hyper-V 環境。 Hyper-V 副本 新功能 在存儲系統、群集和數據中心之間復制虛擬機可提供業務連續性和災難恢復的功能。 實時遷移 更新功能 在非群集和群集的虛擬機上執行實時遷移,並且同時執行一個以上的實時遷移。 顯著提高了規模和改進了復原能力 更新功能 使用比以前可能使用的明顯更大的計算和存儲資源。處理硬體錯誤能力的改進,增加了虛擬化環境的復原能力和穩定性。 存儲遷移 新功能 在不停機的情況下將運行中的虛擬機虛擬硬碟移到其他存儲位置。 虛擬光纖通道 新功能 從來賓操作系統內連接到光纖通道存儲。 虛擬硬碟格式 更新功能 創建高達 64 TB 的穩定、高性能的虛擬硬碟。 虛擬交換機 更新功能 如網路虛擬化這樣的新功能將支持多用戶管理,以及 Microsoft 夥伴可提供的擴展,從而添加監視、轉發和篩選數據包的功能。 現在就搜集一些Hyper-V的常見問題,希望能對廣大的虛擬化技術愛好者有所幫助。
問題一:Hyper-V對硬體上有什麼要求?
答:Hyper-V從架構上看屬於裸金屬架構,裸金屬架構對硬體有一定要求,具體是:
1.CPU支持AMD-V或Intel-VT
2.CPU支持64位運算
3.CPU支持DEP技術
問題二:Hyper-V是Win2008的一個角色,如果Hyper-V必須依賴於Win2008操作系統系,那Hyper-V是否應該被理解為寄居架構?
答:Win2008上安裝了Hyper-V角色後,重新啟動計算機時會先載入hvboot.sys文件,這個文件就是Hypervisor層。Hyper-V依靠hvboot.sys控制硬體,因此應該是裸金屬架構。原來的Win2008操作系統將被Hyper-V視作計算機上的第一個虛擬機,也稱為父分區。
問題三:Hyper-V安裝後,我發現物理計算機的網卡配置都丟失了,這是怎麼回事?
答:Hyper-V角色安裝後,如果我們選擇把Hyper-V的網路搭建在物理網卡上,那物理網卡將變成一個虛擬交換機。因此我們會發現物理網卡的原有配置都丟失了,這是正常現象,不用擔心。Hyper-V會自動創建一個虛擬網卡來繼承原物理網卡的配置,物理計算機可以正常使用網路。
問題四:Hyper-V最多可以跑多少個虛擬機?
答:Hyper-V安裝的虛擬機數量沒有限制,完全取決於物理機的性能和虛擬機的負載水平。
問題五:Hyper-V如何才能把物理機轉換為虛擬機?
答:要想實現從物理機到虛擬機的P2V轉換,必須藉助微軟的虛擬機管理軟體SCVMM,Hyper-V管理器中無法實現P2V轉換。
問題六:我在Hyper-V的虛擬機中安裝了Win2003操作系統,但在這個虛擬機操作系統上無法安裝Integrated Service,為什麼?
答:Integrated Service對虛擬機操作系統的版本有要求,Win2003操作系統必須安裝SP2補丁才可以安裝Integrated Service,XP也需要SP2以上補丁的支持,Vista則需要SP1以上補丁,Win2000需要SP4補丁。
問題七:Hyper-V的動態遷移和快速遷移有什麼區別?
答:快速遷移和動態遷移都可以把虛擬機從一個Hyper-V伺服器遷移到另一個Hyper-V伺服器,但快速遷移在遷移虛擬機時需要讓虛擬機停止網路服務,然後把虛擬機的內存數據從源伺服器遷移到目標伺服器,在遷移的過程中虛擬機無法繼續提供網路服務。動態遷移在遷移虛擬機的過程中,虛擬機仍然可以對外提供不間斷的網路服務,用戶感覺不到任何影響。
問題八:Hyper-V的動態遷移對存儲設備有什麼要求?
答:Hyper-V的動態遷移要求被遷移的虛擬機要安裝在群集共享卷上,群集共享卷需要ISCSI存儲設備的支持。

❽ IBM Storwize V7000的IBM Storwize V7000技術參數

IBM Storwize V7000目前是一個雙控制器存儲陣列(將來計劃括充至8個控制器,與IBMSVC類似),每個控制器都利用了一個四核Jasper Forest(Nehalem)處理器來驅動虛擬化的三級後端存儲,採用了SAS連接。該系統採用了SVC(SAN Volume Controller)代碼堆棧,以及儲存資源隨需分配、虛擬化和數據保護等功能。並添加了IBM 高端存儲XIV的用戶圖形界面以及DS8000RAID以及EasyTier功能。可以說是集大成於一身。
V7000的主機介面是8Gbit/s的FibreChannel,可選加四個1Gbit/E的iSCSI,iSCSI為原生支持。其三級存儲在最前端採用300GB的STEC固態硬碟(SSD),中間層採用2.5英寸SAS硬碟,使用的是6Gbit/s SAS II介面。第三層大容量數據存儲採用7200轉3.5英寸的SATA磁碟驅動器。
IBM Storwize V7000控制器單元是一個2U的機架機箱,在2U機箱內可容納24個2.5英寸硬碟或12個3.5英寸硬碟,如果使用600GB10k SAS硬碟和2TB近線SAS,一個機箱就可以提供14.4TB和24TB容量。但IBM Storwize V7000可外掛9個擴展機箱,可以達到240個小型硬碟或120個3.5英寸硬碟,則能夠獲得144TB或240TB的容量。
IBM Storwize V7000對硬碟的品牌和容量沒有限制,各種驅動器類型(SSD或HDD)都可以在同一個機箱中混合存在,因此具有極大的靈活性,可以適合客戶對存儲要求高擴展性,可以隨需求同步增長的需求。同時利用占總容量空間6%的固態存儲即可提高200%的性能。
IBM正在存儲效率方面大做文章,不可否認IBM V7000正是一個緊密集成的系統,充分的利用了所有的空間,相同存儲容量相比於競品節省67%的空間,其需要的能源比一個插滿3.5英寸盤的陣列還要少,並且其應用了自動精簡配置可以避免大量存儲空間的分配浪費。

❾ IBMV7000虛擬存儲數據恢復技術解決方案

IBMV7000虛擬存儲數據恢復技術解決方案

虛擬存儲故障數據恢復是一個高難度的技術實現,傳統的企業級存儲採用普通的Raid級別分配LUN空間,基本平行線性分布空間,而虛擬存儲技術,LUN的空間分布是動態實現的,可以把很多個物理硬碟放在大的盤池中,LUN的空間分配根據需要從盤池中獲取相應的空間。一旦整個虛擬存儲出現故障,要找出LUN的空間分配,則需要把LUN的地址描述信息找出來,才能還原LUN的真實空間分布。

達思數據恢復中心多次處理IBMV7000存儲故障的數據恢復,我整理出來供大家參考。

1、 IBMV7000虛擬存儲數據恢復的故障描述:

在IBM V7000上引入兩個外部磁碟,每個mdisk大小12TB左右,把這兩個mdisk劃分在一個盤池中,然後從這個盤池中劃分出兩個LUN,第一個15TB,第二個LUN10TB,這兩個LUN採用精簡模式分配空間。由於誤操作,把硬碟池刪除掉,導致兩個LUN數據丟失,不能訪問,需要進行數據恢復。

2、 IBMV7000虛擬存儲數據恢復磁碟劃分原理:

“虛擬”兩個字是IBM V7000存儲的精髓,特別是對精簡模式的LUN的劃分,假如你劃分一個15TB的LUN,精簡模式,這個LUN實際在這個盤池中,最小分配768KB就足夠了,隨著對LUN格式化,寫入數據,這個空間就會慢慢增加,而這個增加的存儲空間,就會有相應的信息來記錄,這個就是map指針記錄表。

LUN的最上一級map指針,記錄著這個LUN使用了哪些extents,而extent是從這個盤池中獲取的,這個案例一個extent是1GB。在盤池中的每個mdisk,會劃分成諾干個extent,從小到大進行編號,當LUN在分配空間時,就會在map表中記錄,哪些mdisk的哪些extents給這個LUN使用。而一個extent的內部,又分成諾干個512扇區的空間,這一層還有一個map表,記錄著哪些512扇區給LUN的那個邏輯地址上使用,因為512sec在整個盤池中實在是太多了,就使用間接指針的方式來記錄,空間越大,間接指針的級別就用得越高,比如15TB的LUN,間接指針就會用到4級,才能描述整個LUN的512sec數量級位置。

這就是所謂的虛擬概念,就像銀行的信用卡額度,你用多少錢,就分配給你多少錢,不會一次性把這個額度的錢都給你,讓你去消費,而是你用多少,他就給你多少,在這個額度范圍內,銀行會有記錄,記錄這些錢什麼時間用,使用多少,這個就相當於LUN的空間分配一樣。賬單都是記載在銀行的資料庫里,LUN的空間分配是記錄在V7000控制器上。

3、 IBMV7000刪除盤池原理:

刪除盤池,連帶這個盤池中的LUN信息也會刪除掉,LUN的空間分配map表也會從控制器中清除掉,如果一個LUN在分配空間時,採用非精簡模式,這個LUN的空間在mdisk上的.劃分是連續的,即便沒有空間分配map表,也可以從mdisk中的連續空間上獲取原先LUN使用的extents,這樣刪除盤池以後,數據恢復就相對容易一些。而我們要恢復的LUN都採用精簡模式分配空間,沒了extents的map表,在還原這個LUN的空間分配時,是有很大的難度。就像銀行的賬單被刪除了,銀行卡還在,你是沒有辦法直接把你消費記錄列印出來的,除非你能保留所有的消費憑證,比如銀行消費簡訊,紙質記錄等等,你才能租略統計出你的消費記錄。LUN的分配地址空間也一樣,沒了記錄,只能根據mdisk內部指針收集、統計、排查,最後才有可能還原出來。

4、 關鍵點:IBM V7000虛擬存儲的數據恢復解決方案:

根據以上原理的分析,要能成功恢復出數據,必須把LUN的空間分配弄清楚,才有可能數據恢復成功。IBM V7000虛擬存儲是個比較新的概念,首先要弄清楚存儲架構,我們畢竟不是這個產品的設計者,對它知道的不多,要了解盤池,了解extents,了解LUN的劃分原理,了解指針結構等等,這個分析得從v7000測試開始,反復測試,反復分析,才能得出相對可靠的結論,這個過程花費了很長時間。

現在的工作是,把這兩個mdisk上的所有級別的指針地址位置,指針內容,指針級別都收集出來,做到准確無誤,這個工作基本完成。後面的工作就是想辦法把這些指針內容,通過統計方式,把LUN空間還原出來,這個工作是數據恢復的最後階段,能否恢復成功,就看統計連接技術,因為空間大,指針多,難度大,時間會不確定!

5、 總結:

IBMV7000研究到現在,總算把整個底層存儲結構弄明白,弄明白後,還是沒能見到曙光,還需要投入大量的體力腦力勞動,才有可能成功。

舉個例子:練習兵乓球時,有個發球機,裡面裝著2萬個球,白球1萬個,黃球1萬個,白球和黃球都從1-1萬編號,有兩個人在練習,發球機看誰空閑就把球發給誰,隨機發球,發球機會記錄哪個球發給誰,當把球都發出去了,地上就是滿地的2萬個球,我們從發球機上的記錄可以看出哪個球發給哪個人。不幸的是,有一次發球機發完所有的球後,發生電路短路,燒掉了,所有記錄沒了,請問,我們還有什麼辦法分辨出哪個球發給哪個人么?

我想大多數人會回答:不能!

但是有一個人經過多方思索和考察,說他能!這個人的解決辦法是什麼呢?各位可以想想。

答案:這個人經過觀察,發現這個練球室裝有4個攝像頭,他說就可以根據這4個攝像頭的錄像回放,從不同角度觀察每次發球的細節,然後手工記錄下來,就能還原整個發球記錄信息!這個工作需要花費大量的時間和精力!

數據恢復技術也是一樣的道理,從不同角度,不同思維,去尋求相應的解決辦法。

在數據恢復技術上研究IBMV7000就像在研究一個未知的課題,你只能根據經驗、技術、創新思維等等往前挖掘新的信息,然後在不斷的推進,直到最後撥雲見晴天。這不是一個普通的數據恢復案例,這是一個國際計算機巨頭IBM設計出來的專業虛擬化存儲,要想在短期內去吃透,沒有深厚的底層結構分析經驗,是不可能完成的。我相信,IBM工廠級即便是產品設計者,對於這種恢復技術,未必能實現成功恢復,他們甚至直接給出否定的答案:不能恢復!按照我的理解,這個只能從旁門技術去實現數據重現,數據恢復技術的魅力大概如此!

;

❿ 現在虛擬化技術的應用現狀怎麼樣

虛擬化技術可以說是雲計算時代的核心技術。就虛擬化技術而言,現在市場上對於虛擬化分的也比較細,每個細分的領域都有著不同的廠商。
一、伺服器虛擬化技術應用現狀
成熟。商業公司有:國外的VMware,微軟,Citrix等;國內的方物軟體,普華基礎軟體等。國內的公司都是用開源去做的。
二、應用程序虛擬化技術應用現狀
非常成熟。商業公司有:國外的Citrix,微軟,Graphon;國內的瑞友天翼,溝通科技,金萬維等。這個領域,國內公司幾乎都是採用微軟RDP協議實現的。
三、桌面虛擬化技術應用現狀
比較成熟。商業公司有:國外的Citrix,VMware等;國內方物軟體,普華基礎軟體,創虎網路等。國內也基本都是基於微軟RDP協議實現的。
四、網路虛擬化技術應用現狀
非常成熟。商業公司有:國外的思科,CheckPoint,Junper,H3C。國內的華為、中興、深信服等。
五、存儲虛擬化技術應用現狀
比較成熟。商業公司有:國外的IBM,EMC,HP,DHS,思科等;國內的不詳,應該非常少吧。

熱點內容
你上傳視頻 發布:2025-07-23 01:07:48 瀏覽:57
戰地之王5需要什麼配置 發布:2025-07-23 01:07:46 瀏覽:870
演算法文件編譯 發布:2025-07-23 00:52:19 瀏覽:770
喬安雲存儲和內存卡可以同時用嗎 發布:2025-07-23 00:38:04 瀏覽:182
瑞士制演算法 發布:2025-07-23 00:36:05 瀏覽:336
自守數c語言 發布:2025-07-23 00:35:18 瀏覽:679
windows編譯protobuf 發布:2025-07-23 00:24:30 瀏覽:726
冰焰v8腳本官網 發布:2025-07-23 00:19:59 瀏覽:443
64加密us 發布:2025-07-23 00:09:54 瀏覽:548
小米路由器怎麼看密碼 發布:2025-07-23 00:08:18 瀏覽:536