数据存储性能评测技术
⑴ 比较das和nas两种数据存储技术，两者分别具有哪些优缺点适合哪种场合
来连接所存储设备，自形成一个网络。这样数据存储就不再是服务器的附属，而是作为独立网络节点而存在于网络之中，可由所有的网络用户共享。
同时NAS存储真正做到了即插即用，并且部署起来也相对灵活，再加上管理成本低，是目前企业选择较多的，但它同时也有存储性能低和可靠度不高等缺点。
二、DAS存储特点（直连存储）
DAS这种存储方式与我们普通的PC存储架构一样，外部存储设备都是直接挂接在服务器内部总线上，数据存储设备是整个服务器结构的一部份，DAS存储方式主要适用于小型网络、地理位置分散的网络和特殊服务器上。
DAS已经存在了很长时间，并且在很多情况下仍然是一种不错的存储选择。由于这种存储方式在磁盘系统和服务器之间具有很快的传输速率，因此，虽然在一些部门中一些新的SAN设备已经开始取代DAS，但是在要求快速磁盘访问的情况下，DAS仍然是一种理想的选择。更进一步地，在DAS环境中，运转大多数的应用程序都不会存在问题，所以你没有必要担心应用程序问题，从而可以将注意力集中于其他可能会导致问题的领域。
⑵ 如何进行存储系统的性能测试
要解决问题，首先要明确准备将测试结果精确到什么程度：
只是获得一个初步的结果；
分析未来的发展动向；
准备搜集尽可能多的数据；
进行存储性能分析不仅仅是收集数据那么简单。采集数据只是一方面，另外，需要分析数据。可以用现有的SRM(存储资源管理)工具来采集数据。如果没有这种系统，可以雇用顾问公司来解决这个问题(顾问公司还可以同时进行数据分析)。
几个SRM系统能够工作，比如SUN公司的StorEdge Suite，IBM公司也集成了Trellisoft SRM系统，这两个系统都能在开源环境中工作。然而，这些系统都有至少5个许可证书，如果要在自己的系统中采用它们，就需要获得相应许可。
如果只想测试系统性能，不需要执行整个SRM系统，最好的选择是获得外部的帮助(比如雇用顾问公司)。
如果打算采用别的软件来完成采集数据的工作，那么需要注意如下几点：
执行软件前，需要配置好对应的管理框架
软件不一定支持所有的操作环境(Windows, Linux, Solaris, Aix)
软件不支持数据库
测试代理性能时需要重启已经安装过的服务器
除了少数几个操作系统，软件代理大部分情况下无法进行远程操作(设想一下，可能需要手动安装上百个代理软件)
⑶ 海量空间数据存储
(一)空间数据存储技术
随着地理信息系统的发展，空间数据库技术也得到了很大的发展，并出现了很多新的空间数据库技术(黄钊等，2003)，其中应用最广的就是用关系数据库管理系统(RDBMS)来管理空间数据。
用关系数据库管理系统来管理空间数据，主要解决存储在关系数据库中的空间数据与应用程序之间的数据接口问题，即空间数据库引擎(SpatialDatabase Engine)(熊丽华等，2004)。更确切地说，空间数据库技术是解决空间数据对象中几何属性在关系数据库中的存取问题，其主要任务是:
(1)用关系数据库存储管理空间数据;
(2)从数据库中读取空间数据，并转换为GIS应用程序能够接收和使用的格式;
(3)将GIS应用程序中的空间数据导入数据库，交给关系数据库管理。
空间数据库中数据存储主要有三种模式:拓扑关系数据存储模式、Oracle Spatial模式和ArcSDE模式。拓扑关系数据存储模式将空间数据存在文件中，而将属性数据存在数据库系统中，二者以一个关键字相连。这样分离存储的方式由于存在数据的管理和维护困难、数据访问速度慢、多用户数据并发共享冲突等问题而不适用于大型空间数据库的建设。而OracleSpatial实际上只是在原来的数据库模型上进行了空间数据模型的扩展，实现的是“点、线、面”等简单要素的存储和检索，所以它并不能存储数据之间复杂的拓扑关系，也不能建立一个空间几何网络。ArcSDE解决了这些问题，并利用空间索引机制来提高查询速度，利用长事务和版本机制来实现多用户同时操纵同一类型数据，利用特殊的表结构来实现空间数据和属性数据的无缝集成等(熊丽华等，2004)。
ArcSDE是ESRI公司开发的一个中间件产品，所谓中间件是一个软件，它允许应用元素通过网络连接进行互操作，屏蔽其下的通讯协议、系统结构、操作系统、数据库和其他应用服务。中间件位于客户机/服务器的操作系统之上，管理计算资源和网络通讯，并营造出一个相对稳定的高层应用环境，使开发人员可以集中精力于系统的上层开发，而不用过多考虑系统分布式环境下的移植性和通讯能力。因此，中间件能无缝地连入应用开发环境中，应用程序可以很容易地定位和共享中间件提供的应用逻辑和数据，易于系统集成。在分布式的网络环境下，客户端的应用程序如果要访问网络上某个服务器的信息，而服务器可能运行在不同于客户端的操作系统和数据库系统中。此时，客户机的应用程序中负责寻找数据的部分只需要访问一个数据访问中间件，由该中间件完成网络中数据或服务的查找，然后将查找的信息返回给客户端(万定生等，2003)。因此，本系统实现空间数据库存储的基本思想就是利用ArcSDE实现各类空间数据的存储。
目前，空间数据存储技术已比较成熟，出现了许多类似ArcSDE功能的中间件产品，这些软件基本上都能实现空间数据的数据库存储与管理，但对于海量空间数据的存储，各种软件性能差别较大。随着数据量的增长，计算机在分析处理上会产生很多问题，比如数据不可能一次完全被读入计算机的内存中进行处理。单纯依赖于硬件技术，并不能满足持续增长的数据的处理要求。因此需要在软件上找到处理海量数据的策略，并最终通过软硬件的结合完成对海量数据的处理。在海量数据存储问题上，许多专家从不同侧面进行过研究，Lindstrom在地形简化中使用了外存模型(Out-of-core)技术;钟正采用了基于数据分块、动态调用的策略;汪国平等人在研究使用高速网络进行三维海量地形数据的实时交互浏览中，采用了分块、多分辨率模板建立模型等方法。这些技术、方法已经在各自系统上进行了研究和实现。本系统采用的ArcSDE软件基本上也是采用分块模型的方法，具体存储和操作不需要用户过多了解，已经由ArcSDE软件实现。因此，对海量数据的存储管理，更需要从数据的组织方式等方面进行设计。塔里木河流域生态环境动态监测系统采集了大量的遥感影像、正射影像等栅格结构的数据，这些数据具有很大的数据量，为适应流域空间基础设施的管理需要，采取一种新的方式来管理、分发这些海量数据以适应各部门的快速浏览和管理需要。
(二)影像金字塔结构
影像数据库的组织是影像数据库效率的关键，为了获得高效率的存取速度，在数据的组织上使用了金字塔数据结构和网格分块数据结构。该技术主导思想如下:
(1)将数据库中使用到的纹理处理成为大小一致的纹理块;
(2)为每块纹理生成5个细节等级的纹理，分别为0、1、2、3、4，其中1级纹理通过0级纹理1/4压缩得到，2级纹理通过1级纹理1/4压缩得到，…，以此类推;
(3)在显示每个块数据之前，根据显示比例的大小，并以此决定该使用那一级的纹理;
(4)在内存中建立纹理缓冲池，使用LRU算法进行纹理块的调度，确保使用频率高的纹理调度次数尽可能少。
(三)影像数据压缩
影像数据压缩有无损压缩和有损压缩两个方法，具体采取哪种压缩方法需根据具体情况确定。对于像元值很重要的数据，如分类数据、分析数据等采用无损压缩(即LZ77算法)，否则采用有损压缩(即JPEG算法)。通过对影像数据的压缩，一方面可以节约存储空间，另一方面可以加快影像的读取和显示速度。影像数据的压缩一般与构建金字塔同时进行，在构建影像金字塔过程中自动完成数据的压缩。
⑷ 4K摄影好帮手 铠侠（原东芝存储）SD存储卡评测
随着4K设备的普及，现在很多视频作者逐渐开始拍摄4K的素材。
那么，拍摄4K素材有什么好处呢？
首先，4K素材清晰度更高，画面更加锐利，展示的画面细节更加丰富。
其次，在给视频做二次构图的时候，4K画面可以无损裁切素材的75%。
第三，后期调整更加方便。
4K虽好，但带来更高画质的同时也带来了更大的数据量，这时，提升存储卡的存储容量和读写速度也就成为硬需求了。尤其在读写速度上，如果存储卡的写入速度较低的话，拍摄时存储速度跟不上，导致相机死机或者长时间等待，这样的拍摄体验很不好，而且容易错过精彩画面的拍摄。因此配备一张高速、大容量的存储卡在对于摄影玩家们来说是必备的需求。
上述的使用中可以看出，铠侠EXCERIA PLUS SDXC UHS-I存储卡在读写性能上有着优异的表现，在4K视频的拍摄中高速写入速度最终提供稳定的视频素材，不会出现卡壳、花屏的现象。
同时UHS-I协议对于一些支持4K拍摄的老款型号相机来说也显得相当友好。对于职业摄影师们来说，这样一款高性能且稳定的存储卡是自己相机的理想拍档。
⑸ 攀登比珠穆朗玛更高的山峰，数据存储技术的突破之路
文： 科技 商业 于洪涛
在物理世界，山峰是自然力量的象征；而在数字世界里，数据则是智慧力量的来源。
或许正是因为如此，华为将其聚焦在数据基础技术的科研大奖命名为Olympus Mons，即奥林帕斯大奖，专门用于重奖那些在数据存储领域实现技术突破的科研工作者。
设立奖项只是一种形式。在奥林帕斯大奖的背后，是华为通过汇聚产学研各方能力，来推动数据技术实现突破性发展的雄心，从而为数字经济发展提供更好的数据基础设施。
随着数字化时代的到来，数据的价值越来越突出，正在日益成为国家、企业、甚至个人的核心资产。
与传统经济相比，数字经济的本质就是数据的流通，数据也成为智能 社会 的主要生产要素。IDC的调研显示，2020年全球共创造了59ZB的数据，到2025年则将达到163ZB。
如此巨量的数据资产，需要经过数据采集、数据存储、数据分析等流程才能产生价值，其中数据存储无疑是基础。在数据中心里，存储也与计算和网络一道，成为关键基础设施，为整个数字化进程提供支持。
在数据量高速成长的同时，数据的形态也日益多样化，视频、图片、音频等非结构化数据已经成为数据的主体。这些复杂的数据要想充分发挥价值，就需要更加高效的数据存储和数据管理。
有统计显示，如今只有2%的数据被保存，保存下来的数据也只有10%得到分析利用。华为数据存储与机器视觉产品线总裁周跃峰介绍说，数据在企业数字化转型中扮演着越来越重要的角色，然而企业却面临海量数据存不下、流不动、管不好的问题。
为了满足客户日益增长的数据存储需求， 华为主张构建端到端的数据能力，包括计算、存储、利用和AI等能力，让数据在全生命周期内实现每比特价值最大，每比特成本最优。
华为的努力，已经收到了成效，如今越来越多的政企使用华为的数据存储解决方案，来实现对数据资产的管理。
甘肃敦煌研究院，正在利用华为的海量存储解决方案，通过 计算机技术和数字图像技术，实现敦煌石窟文物的永久保存、永续利用。
然而，整个敦煌莫高窟拥有735个洞窟、4.5万平方米壁画、2415尊泥质彩塑，要把这么多文物数字化，达成构建数字敦煌博物馆的目标，意味着需要大量的投资和海量的存储设备。 显然，要想解决这一问题，仅靠华为自身的努力还不够，而需要各个方面的共同参与，通过打造产业技术生态，来实现存储技术的新突破。这也正是华为设立“奥林帕斯奖”的初衷。
据了解，华为“奥林帕斯奖”，每年都聚焦于数据领域的两个主要技术难题来寻求解决方案。在去年底的全球数据存储教授论坛上，第二届的“2021年奥林帕斯悬红”两大难题已经确定：一是构建每比特极致性价比的数据存储，二是实现下一代存储产业根技术突破。对于每个难题，华为都给出了高达100万元的悬红，
华为希望通过“奥林帕斯奖”的设立，与学术界在 Cloud-Oriented多云存储服务、Data-Centric新型数据应用存储系统、AI-Driven存储软件架构、创新体系架构等技术方向共同攻坚，构筑更好的数据存储系统。
我们都知道，妨碍电动 汽车 推广普及的主要制约因素是电池的能量密度，其决定了电动 汽车 的可用性。在数据中心里，数据的存储密度则将成为未来的核心挑战，决定着我们智能 社会 的成色。
科学家们已经明确了下一步的发展目标：在有限的资源下实现100x性能密度和100x容量密度的数据存储。要实现存储能力的提升，压缩算法是核心技术之一，可以降低 数据的存储成本，帮助用户缓解数据规模爆炸性增长带来的成本压力。
然而，作为存储技术中的重磅难题，压缩算法多年来未有突出成果。
为了突破压缩算法面临的瓶颈，激发数据压缩领域的活力，自2020年起，华为与莫斯科国立大学合作，举办全球数据压缩大赛，以促进数据压缩根技术的研究。
今年的第二届全球数据压缩大赛，邀请了压缩领域享有盛誉的技术专家担任评委；使用电子显微镜、遥感等高性能计算数据，更贴近前沿、更贴近实际场景。大赛设计了五种类型的数据集（赛事项目）：定量数据压缩、定性数据压缩、混合数据压缩、小块数据压缩和熵编码优化。
同时，大赛还增设了面向高校学生、难度相对较小的编码算法优化项目，以吸引更多校园算法高手参与比赛。在奖项设置方面，进一步体现多维激励，增设领先奖、特等奖和学生参与奖。
本届数据压缩大赛，已于6月15日正式开赛，接收参赛作品截止到11月底，将于12月底公布获奖结果。截至7月中旬，开赛仅1个月大赛组委会就已经收到了来自全球近80个报名申请。
伴随着奥林帕斯大奖和全球数据压缩大赛相继进入第二届，“奥林帕斯”已经成为华为数据存储正在着力打造的新品牌，专门用来加强产学研合作，联合学界一起推动数据存储产业的进步。
从第一届奥林帕斯大奖得主那里，我们已经看到科研界在数据技术创新领域的突破。
获得 百万悬红大奖的清华大学舒继武老师团队的“持久性内存存储系统构建与关键技术”， 创新地提出了持久性内存文件系统与键值存储的设计方法和分布式持久性共享内存框架，攻克了其数据结构、内存管理、一致性与安全等方面的一系列难题，解决了基于新型内存介质的高效数据存储问题。
此外，上海交通大学的陈榕团队的 “基于新型异构硬件的高效数据处理系统”， 华中 科技 大学的冯丹团队的 “NVM（新型非易失存储）高效可靠技术”，也具有较高的创新性和先进性， 具备产业价值和应用前景。
同样，在第一届 全球数据压缩大赛上，也涌现出了很多令人瞩目的成果。
比如获奖选手Peter Thamm设计的pglz算法在压缩率和性能上，打破了快速压缩算法的一般认知，指引了压缩算法优化方向；Konstantinos Agiannis的参赛算法，在文本场景测试中的压缩率和压缩性能，均超过业界公认的标杆算法；Andreas Debski的快速图像压缩算法，达到了业界公认标杆算法120%的压缩率，展现了深厚的图像压缩算法功底。
过去一年的成功，也让我们对今年的 “奥林帕斯”有了更高的期待。对这个太阳系最高峰的攀登，意味着整个数据存储技术领域的参与者，首次能够团结一致，共同牵引基础理论研究方向，突破关键技术难题，加速科研成果产业化，实现产学研合作共赢。
在此进程中，华为一方面发挥了产业引领者的角色，大力推动产学研的合作进程；另一方面也积极投身其中，通过 Data Fabric、智能存储、内存型存储、数据缩减、视频存储等五大创新实验室，通过4000多名研发工程师的协同努力，围绕下一代存储的介质、网络、架构和管理等进行系统化创新。
我们也有理由相信，通过全球、全领域的协同创新，我们一定能够迎来数据存储技术的突破，通过技术重构实现更好的数据存储效能，让全世界共享数字技术红利，进而推动千行百业的智能化升级。