數據存儲性能評測技術
⑴ 比較das和nas兩種數據存儲技術，兩者分別具有哪些優缺點適合哪種場合
來連接所存儲設備，自形成一個網路。這樣數據存儲就不再是伺服器的附屬，而是作為獨立網路節點而存在於網路之中，可由所有的網路用戶共享。
同時NAS存儲真正做到了即插即用，並且部署起來也相對靈活，再加上管理成本低，是目前企業選擇較多的，但它同時也有存儲性能低和可靠度不高等缺點。
二、DAS存儲特點（直連存儲）
DAS這種存儲方式與我們普通的PC存儲架構一樣，外部存儲設備都是直接掛接在伺服器內部匯流排上，數據存儲設備是整個伺服器結構的一部份，DAS存儲方式主要適用於小型網路、地理位置分散的網路和特殊伺服器上。
DAS已經存在了很長時間，並且在很多情況下仍然是一種不錯的存儲選擇。由於這種存儲方式在磁碟系統和伺服器之間具有很快的傳輸速率，因此，雖然在一些部門中一些新的SAN設備已經開始取代DAS，但是在要求快速磁碟訪問的情況下，DAS仍然是一種理想的選擇。更進一步地，在DAS環境中，運轉大多數的應用程序都不會存在問題，所以你沒有必要擔心應用程序問題，從而可以將注意力集中於其他可能會導致問題的領域。
⑵ 如何進行存儲系統的性能測試
要解決問題，首先要明確准備將測試結果精確到什麼程度：
只是獲得一個初步的結果；
分析未來的發展動向；
准備搜集盡可能多的數據；
進行存儲性能分析不僅僅是收集數據那麼簡單。採集數據只是一方面，另外，需要分析數據。可以用現有的SRM(存儲資源管理)工具來採集數據。如果沒有這種系統，可以僱用顧問公司來解決這個問題(顧問公司還可以同時進行數據分析)。
幾個SRM系統能夠工作，比如SUN公司的StorEdge Suite，IBM公司也集成了Trellisoft SRM系統，這兩個系統都能在開源環境中工作。然而，這些系統都有至少5個許可證書，如果要在自己的系統中採用它們，就需要獲得相應許可。
如果只想測試系統性能，不需要執行整個SRM系統，最好的選擇是獲得外部的幫助(比如僱用顧問公司)。
如果打算採用別的軟體來完成採集數據的工作，那麼需要注意如下幾點：
執行軟體前，需要配置好對應的管理框架
軟體不一定支持所有的操作環境(Windows, Linux, Solaris, Aix)
軟體不支持資料庫
測試代理性能時需要重啟已經安裝過的伺服器
除了少數幾個操作系統，軟體代理大部分情況下無法進行遠程操作(設想一下，可能需要手動安裝上百個代理軟體)
⑶ 海量空間數據存儲
(一)空間數據存儲技術
隨著地理信息系統的發展，空間資料庫技術也得到了很大的發展，並出現了很多新的空間資料庫技術(黃釗等，2003)，其中應用最廣的就是用關系資料庫管理系統(RDBMS)來管理空間數據。
用關系資料庫管理系統來管理空間數據，主要解決存儲在關系資料庫中的空間數據與應用程序之間的數據介面問題，即空間資料庫引擎(SpatialDatabase Engine)(熊麗華等，2004)。更確切地說，空間資料庫技術是解決空間數據對象中幾何屬性在關系資料庫中的存取問題，其主要任務是:
(1)用關系資料庫存儲管理空間數據;
(2)從資料庫中讀取空間數據，並轉換為GIS應用程序能夠接收和使用的格式;
(3)將GIS應用程序中的空間數據導入資料庫，交給關系資料庫管理。
空間資料庫中數據存儲主要有三種模式:拓撲關系數據存儲模式、Oracle Spatial模式和ArcSDE模式。拓撲關系數據存儲模式將空間數據存在文件中，而將屬性數據存在資料庫系統中，二者以一個關鍵字相連。這樣分離存儲的方式由於存在數據的管理和維護困難、數據訪問速度慢、多用戶數據並發共享沖突等問題而不適用於大型空間資料庫的建設。而OracleSpatial實際上只是在原來的資料庫模型上進行了空間數據模型的擴展，實現的是「點、線、面」等簡單要素的存儲和檢索，所以它並不能存儲數據之間復雜的拓撲關系，也不能建立一個空間幾何網路。ArcSDE解決了這些問題，並利用空間索引機制來提高查詢速度，利用長事務和版本機制來實現多用戶同時操縱同一類型數據，利用特殊的表結構來實現空間數據和屬性數據的無縫集成等(熊麗華等，2004)。
ArcSDE是ESRI公司開發的一個中間件產品，所謂中間件是一個軟體，它允許應用元素通過網路連接進行互操作，屏蔽其下的通訊協議、系統結構、操作系統、資料庫和其他應用服務。中間件位於客戶機/伺服器的操作系統之上，管理計算資源和網路通訊，並營造出一個相對穩定的高層應用環境，使開發人員可以集中精力於系統的上層開發，而不用過多考慮系統分布式環境下的移植性和通訊能力。因此，中間件能無縫地連入應用開發環境中，應用程序可以很容易地定位和共享中間件提供的應用邏輯和數據，易於系統集成。在分布式的網路環境下，客戶端的應用程序如果要訪問網路上某個伺服器的信息，而伺服器可能運行在不同於客戶端的操作系統和資料庫系統中。此時，客戶機的應用程序中負責尋找數據的部分只需要訪問一個數據訪問中間件，由該中間件完成網路中數據或服務的查找，然後將查找的信息返回給客戶端(萬定生等，2003)。因此，本系統實現空間資料庫存儲的基本思想就是利用ArcSDE實現各類空間數據的存儲。
目前，空間數據存儲技術已比較成熟，出現了許多類似ArcSDE功能的中間件產品，這些軟體基本上都能實現空間數據的資料庫存儲與管理，但對於海量空間數據的存儲，各種軟體性能差別較大。隨著數據量的增長，計算機在分析處理上會產生很多問題，比如數據不可能一次完全被讀入計算機的內存中進行處理。單純依賴於硬體技術，並不能滿足持續增長的數據的處理要求。因此需要在軟體上找到處理海量數據的策略，並最終通過軟硬體的結合完成對海量數據的處理。在海量數據存儲問題上，許多專家從不同側面進行過研究，Lindstrom在地形簡化中使用了外存模型(Out-of-core)技術;鍾正採用了基於數據分塊、動態調用的策略;汪國平等人在研究使用高速網路進行三維海量地形數據的實時交互瀏覽中，採用了分塊、多解析度模板建立模型等方法。這些技術、方法已經在各自系統上進行了研究和實現。本系統採用的ArcSDE軟體基本上也是採用分塊模型的方法，具體存儲和操作不需要用戶過多了解，已經由ArcSDE軟體實現。因此，對海量數據的存儲管理，更需要從數據的組織方式等方面進行設計。塔里木河流域生態環境動態監測系統採集了大量的遙感影像、正射影像等柵格結構的數據，這些數據具有很大的數據量，為適應流域空間基礎設施的管理需要，採取一種新的方式來管理、分發這些海量數據以適應各部門的快速瀏覽和管理需要。
(二)影像金字塔結構
影像資料庫的組織是影像資料庫效率的關鍵，為了獲得高效率的存取速度，在數據的組織上使用了金字塔數據結構和網格分塊數據結構。該技術主導思想如下:
(1)將資料庫中使用到的紋理處理成為大小一致的紋理塊;
(2)為每塊紋理生成5個細節等級的紋理，分別為0、1、2、3、4，其中1級紋理通過0級紋理1/4壓縮得到，2級紋理通過1級紋理1/4壓縮得到，…，以此類推;
(3)在顯示每個塊數據之前，根據顯示比例的大小，並以此決定該使用那一級的紋理;
(4)在內存中建立紋理緩沖池，使用LRU演算法進行紋理塊的調度，確保使用頻率高的紋理調度次數盡可能少。
(三)影像數據壓縮
影像數據壓縮有無損壓縮和有損壓縮兩個方法，具體採取哪種壓縮方法需根據具體情況確定。對於像元值很重要的數據，如分類數據、分析數據等採用無損壓縮(即LZ77演算法)，否則採用有損壓縮(即JPEG演算法)。通過對影像數據的壓縮，一方面可以節約存儲空間，另一方面可以加快影像的讀取和顯示速度。影像數據的壓縮一般與構建金字塔同時進行，在構建影像金字塔過程中自動完成數據的壓縮。
⑷ 4K攝影好幫手 鎧俠（原東芝存儲）SD存儲卡評測
隨著4K設備的普及，現在很多視頻作者逐漸開始拍攝4K的素材。
那麼，拍攝4K素材有什麼好處呢？
首先，4K素材清晰度更高，畫面更加銳利，展示的畫面細節更加豐富。
其次，在給視頻做二次構圖的時候，4K畫面可以無損裁切素材的75%。
第三，後期調整更加方便。
4K雖好，但帶來更高畫質的同時也帶來了更大的數據量，這時，提升存儲卡的存儲容量和讀寫速度也就成為硬需求了。尤其在讀寫速度上，如果存儲卡的寫入速度較低的話，拍攝時存儲速度跟不上，導致相機死機或者長時間等待，這樣的拍攝體驗很不好，而且容易錯過精彩畫面的拍攝。因此配備一張高速、大容量的存儲卡在對於攝影玩家們來說是必備的需求。
上述的使用中可以看出，鎧俠EXCERIA PLUS SDXC UHS-I存儲卡在讀寫性能上有著優異的表現，在4K視頻的拍攝中高速寫入速度最終提供穩定的視頻素材，不會出現卡殼、花屏的現象。
同時UHS-I協議對於一些支持4K拍攝的老款型號相機來說也顯得相當友好。對於職業攝影師們來說，這樣一款高性能且穩定的存儲卡是自己相機的理想拍檔。
⑸ 攀登比珠穆朗瑪更高的山峰，數據存儲技術的突破之路
文： 科技 商業 於洪濤
在物理世界，山峰是自然力量的象徵；而在數字世界裡，數據則是智慧力量的來源。
或許正是因為如此，華為將其聚焦在數據基礎技術的科研大獎命名為Olympus Mons，即奧林帕斯大獎，專門用於重獎那些在數據存儲領域實現技術突破的科研工作者。
設立獎項只是一種形式。在奧林帕斯大獎的背後，是華為通過匯聚產學研各方能力，來推動數據技術實現突破性發展的雄心，從而為數字經濟發展提供更好的數據基礎設施。
隨著數字化時代的到來，數據的價值越來越突出，正在日益成為國家、企業、甚至個人的核心資產。
與傳統經濟相比，數字經濟的本質就是數據的流通，數據也成為智能 社會 的主要生產要素。IDC的調研顯示，2020年全球共創造了59ZB的數據，到2025年則將達到163ZB。
如此巨量的數據資產，需要經過數據採集、數據存儲、數據分析等流程才能產生價值，其中數據存儲無疑是基礎。在數據中心裡，存儲也與計算和網路一道，成為關鍵基礎設施，為整個數字化進程提供支持。
在數據量高速成長的同時，數據的形態也日益多樣化，視頻、圖片、音頻等非結構化數據已經成為數據的主體。這些復雜的數據要想充分發揮價值，就需要更加高效的數據存儲和數據管理。
有統計顯示，如今只有2%的數據被保存，保存下來的數據也只有10%得到分析利用。華為數據存儲與機器視覺產品線總裁周躍峰介紹說，數據在企業數字化轉型中扮演著越來越重要的角色，然而企業卻面臨海量數據存不下、流不動、管不好的問題。
為了滿足客戶日益增長的數據存儲需求， 華為主張構建端到端的數據能力，包括計算、存儲、利用和AI等能力，讓數據在全生命周期內實現每比特價值最大，每比特成本最優。
華為的努力，已經收到了成效，如今越來越多的政企使用華為的數據存儲解決方案，來實現對數據資產的管理。
甘肅敦煌研究院，正在利用華為的海量存儲解決方案，通過 計算機技術和數字圖像技術，實現敦煌石窟文物的永久保存、永續利用。
然而，整個敦煌莫高窟擁有735個洞窟、4.5萬平方米壁畫、2415尊泥質彩塑，要把這么多文物數字化，達成構建數字敦煌博物館的目標，意味著需要大量的投資和海量的存儲設備。 顯然，要想解決這一問題，僅靠華為自身的努力還不夠，而需要各個方面的共同參與，通過打造產業技術生態，來實現存儲技術的新突破。這也正是華為設立「奧林帕斯獎」的初衷。
據了解，華為「奧林帕斯獎」，每年都聚焦於數據領域的兩個主要技術難題來尋求解決方案。在去年底的全球數據存儲教授論壇上，第二屆的「2021年奧林帕斯懸紅」兩大難題已經確定：一是構建每比特極致性價比的數據存儲，二是實現下一代存儲產業根技術突破。對於每個難題，華為都給出了高達100萬元的懸紅，
華為希望通過「奧林帕斯獎」的設立，與學術界在 Cloud-Oriented多雲存儲服務、Data-Centric新型數據應用存儲系統、AI-Driven存儲軟體架構、創新體系架構等技術方向共同攻堅，構築更好的數據存儲系統。
我們都知道，妨礙電動 汽車 推廣普及的主要制約因素是電池的能量密度，其決定了電動 汽車 的可用性。在數據中心裡，數據的存儲密度則將成為未來的核心挑戰，決定著我們智能 社會 的成色。
科學家們已經明確了下一步的發展目標：在有限的資源下實現100x性能密度和100x容量密度的數據存儲。要實現存儲能力的提升，壓縮演算法是核心技術之一，可以降低 數據的存儲成本，幫助用戶緩解數據規模爆炸性增長帶來的成本壓力。
然而，作為存儲技術中的重磅難題，壓縮演算法多年來未有突出成果。
為了突破壓縮演算法面臨的瓶頸，激發數據壓縮領域的活力，自2020年起，華為與莫斯科國立大學合作，舉辦全球數據壓縮大賽，以促進數據壓縮根技術的研究。
今年的第二屆全球數據壓縮大賽，邀請了壓縮領域享有盛譽的技術專家擔任評委；使用電子顯微鏡、遙感等高性能計算數據，更貼近前沿、更貼近實際場景。大賽設計了五種類型的數據集（賽事項目）：定量數據壓縮、定性數據壓縮、混合數據壓縮、小塊數據壓縮和熵編碼優化。
同時，大賽還增設了面向高校學生、難度相對較小的編碼演算法優化項目，以吸引更多校園演算法高手參與比賽。在獎項設置方面，進一步體現多維激勵，增設領先獎、特等獎和學生參與獎。
本屆數據壓縮大賽，已於6月15日正式開賽，接收參賽作品截止到11月底，將於12月底公布獲獎結果。截至7月中旬，開賽僅1個月大賽組委會就已經收到了來自全球近80個報名申請。
伴隨著奧林帕斯大獎和全球數據壓縮大賽相繼進入第二屆，「奧林帕斯」已經成為華為數據存儲正在著力打造的新品牌，專門用來加強產學研合作，聯合學界一起推動數據存儲產業的進步。
從第一屆奧林帕斯大獎得主那裡，我們已經看到科研界在數據技術創新領域的突破。
獲得 百萬懸紅大獎的清華大學舒繼武老師團隊的「持久性內存存儲系統構建與關鍵技術」， 創新地提出了持久性內存文件系統與鍵值存儲的設計方法和分布式持久性共享內存框架，攻克了其數據結構、內存管理、一致性與安全等方面的一系列難題，解決了基於新型內存介質的高效數據存儲問題。
此外，上海交通大學的陳榕團隊的 「基於新型異構硬體的高效數據處理系統」， 華中 科技 大學的馮丹團隊的 「NVM（新型非易失存儲）高效可靠技術」，也具有較高的創新性和先進性， 具備產業價值和應用前景。
同樣，在第一屆 全球數據壓縮大賽上，也涌現出了很多令人矚目的成果。
比如獲獎選手Peter Thamm設計的pglz演算法在壓縮率和性能上，打破了快速壓縮演算法的一般認知，指引了壓縮演算法優化方向；Konstantinos Agiannis的參賽演算法，在文本場景測試中的壓縮率和壓縮性能，均超過業界公認的標桿演算法；Andreas Debski的快速圖像壓縮演算法，達到了業界公認標桿演算法120%的壓縮率，展現了深厚的圖像壓縮演算法功底。
過去一年的成功，也讓我們對今年的 「奧林帕斯」有了更高的期待。對這個太陽系最高峰的攀登，意味著整個數據存儲技術領域的參與者，首次能夠團結一致，共同牽引基礎理論研究方向，突破關鍵技術難題，加速科研成果產業化，實現產學研合作共贏。
在此進程中，華為一方面發揮了產業引領者的角色，大力推動產學研的合作進程；另一方面也積極投身其中，通過 Data Fabric、智能存儲、內存型存儲、數據縮減、視頻存儲等五大創新實驗室，通過4000多名研發工程師的協同努力，圍繞下一代存儲的介質、網路、架構和管理等進行系統化創新。
我們也有理由相信，通過全球、全領域的協同創新，我們一定能夠迎來數據存儲技術的突破，通過技術重構實現更好的數據存儲效能，讓全世界共享數字技術紅利，進而推動千行百業的智能化升級。