遥感数据存储

1. 什么是遥感数据源

数据源（Data Source）顾名思义，数据的来源，是提供某种所需要数据的器件或原始媒体。在数据源中存储了所有建立数据库连接的信息。因此一切遥感数据获取的传感器，其采集到的数据都叫遥感数据源。

遥感是指非接触的，远距离的探测技术。一般指运用传感器/遥感器对物体的电磁波的辐射、反射特性的探测，遥感影像我们可通过遥感集市云服务平台免费下载或订购的方式获取。

2. 一文了解遥感卫星影像处理及其发展趋势

当空中的遥感卫星获取了地球数字影像，并传回地面，是否工作就结束了？答案显然是否定的，相反， 这正是遥感数字图像处理工作的开始 。

遥感数字图像 （Digital image，后简称“遥感影像”）是数字形式的遥感图像，地球表面不同区域和地物能够反射或辐射不同波长的电磁波，利用这种特性，遥感系统可以产生不同的遥感数字图像。

让其与一般的数字图像，也就是我们平时拍摄的电子照片拉开距离的，是遥感影像的 成像范围与精细度 。遥感卫星的摄影区域是地球级的宏观维度，影像中的每个像素都对应着三维真实世界中的某几个、某个或某部分地物实体，根据卫星成像分辨率的不同，其中一个像素就有可能是一棵树、一辆车或是一幢大楼的某个窗户。

所以，图像每个像素点的亮度值（DN值，Digital Number）都有着重要的信息意义，要获取其中的准确信息，用户需要根据自身应用目标，对卫星影像中的像素进行管理、转换、校正、增强、提取一系列的“神操作”，便于后续深入挖掘与业务融合应用。

DN值（Digital Number ）：遥感影像像元亮度值，记录地物的灰度值。无单位，是一个整数值，值大小与传感器的辐射分辨率、地物发射率、大气透过率和散射率等相关，反映地物的辐射率（Radiance）。

我们可以回到“P图界”进行比喻，为了让自己的社交媒体形象更加完美，我们打开某图秀秀软件，美白、瘦身、磨皮、祛痘....当然，遥感影像的数据处理复杂专业多了，到什么地步呢？它可以被写成 一本教科书 ——

今天，我们就来了解一下，这其中到底有哪些“神操作”，又如何应用？以及在遥感产业飞速发展的今天，高频的数据产出、算法和人工智能的冲击，会否让这些“神操作”的传统模式和底层逻辑，发生变革？

01、 什么是遥感影像处理？

遥感影像处理，是利用 计算机图像处理系统 对 遥感图像中的像素 进行系列操作的过程。

遥感影像中包含着很多信息，通过数字化（成像系统的采样和量化、数字存储）后，才能有效地进行信息分析和内容提取。在此基础上，对影像数据进行处理“再加工”，如校正图形对齐坐标、增强地物轮廓，能够极大地 提升图像处理的精度和信息提取的效率， 这个过程都可以称为“遥感数字图像处理”。

作为“对地观测”过程的一个基本而重要的组成部分，在卫星应用产业链中，遥感影像处理环节处于中下游、承前启后的重要位置，前端承接卫星地面设施，后端面向农林、气象、自然资源等行业具体的业务应用，提供“就绪”的数据服务或工具。

02、 为什么遥感影像处理是应用的“必经之路”？

在我们看到整齐美观的谷歌地球这类数字地球产品，或是遥感卫星应用在自然资源管理、环保、农业、气象等领域的专题图或解译图，都需要经过影像处理的中间“洗礼”。

因为遥感卫星在高空“作业”，其成像环境复杂程度远远超越我们日常地面的拍照环境，会遇到传感器不稳定，地球曲率、大气条件、光照变化、地形变化等系统与非系统因素造成的图形几何变形、失真、模糊、噪点等。遥感数据中心对图像进行去除条带、几何粗校正等初步处理，数据到达各终端用户手中时，还需要对数据做进一步的精细处理，使其更加接近真实世界的实体空间环境与坐标，并根据其自身业务分析目标，进行专业处理，为接下来的遥感影像分析、解译、业务应用做好准备。

总的来说，遥感影像处理的主要目标为以下三点：

图像校正 ：恢复、复原图像。在进行信息提取前，必须对遥感图像进行校正处理，以使影像能够正确地反映实际地物信息或物理过程。

图像增强 ：压抑或去除图像噪声。为使遥感图像所包含的地物信息可读性更强，感兴趣目标更突出、容易理解和判读，需要对整体图像或特定地物信息进行增强处理。

信息提取 ：根据地物光谱特征和几何特征，确定不同地物信息的提取规则，在此基础上，利用该规则从校正后的遥感数据中提取各种有用的地物信息。

03、 遥感数据处理有哪些功能？

完整的遥感数字图像处理包含了硬件系统和软件系统两大部分，遥感数据存储量庞大，需要大容量数字存储设备与软件共同配合存储处理，这里主要介绍软件处理部分。下面展示的是一个专业的图像处理软件界面，与常用的办公软件相比，图像处理系统的各个功能显得比较分散，各个菜单之间的联系不紧密。

从某种意义上看，图像处理系统更像一个图像处理综合 工具箱 ，由于图像处理目标不同，用户可以调用某个功能、某几项功能的组合，并非所有流程都选用。这里将一些典型的处理功能进行归纳，并对基础步骤进行介绍。

数字存储与管理

遥感影像本身内存较大，1景7波段的landsat遥感影像至少有200MB，而高光谱影像可能达到1GB；而进入时间与空间双重高分时代以来，数据高频产出与累积，也促使遥感进入大数据时代，让遥感云服务、存储管理、快速分发共享趋势愈加明显。基于私有云、混合云的遥感影像数字存储、在线更新、管理检索、发布浏览，已经逐步成为与遥感数据处理不可分割的重要基础，并将大幅度提升后续遥感影像专业处理与业务应用效率。

影像预处理

辐射校正（Radiometric Correction)

指对由于外界因素，数据获取和传输系统产生的系统的、随机的辐射失真或畸变进行的校正，消除或改正因辐射误差而引起影像畸变的过程。

简单概括，就是 去除传感器或大气“噪声” ，更准确地表示地面条件， 提高图像的“保真度” ，主要是恢复数据缺失、去除薄雾，或为镶嵌和变化监测做好准备。

辐射校正在动态监测中的作用 ：在多时相遥感图像中，除了地物的变化会引起图像中辐射值的变化外，不变的地物在不同时相图像中的辐射值也会有差异。如果需要利用多时相遥感图像的光谱信息对地物变化状况进行动态监测，首要消除不变地物的辐射值差异。

通过相对辐射校正，将一图像作为参考(或基准)图像，调整另一图像的DN值，使得两时相图像上同名的地物具有相同的DN值，这个过程也叫 多时相遥感图像的光谱归一化 。这样就可以通过分析不同时相遥感图像上的辐射值差异来实现变化监测，从而完成 地物动态变化的遥感动态监测 。

几何校正（Geometric correction）

遥感成像过程中，因摄影材料变形、物镜畸变、大气折光、地球曲率、地球自转、地形起伏等因素导致的综合影响，原始图像上地物的几何位置、形状、大小、尺寸、方位等特征与其对应的地面地物的特征往往是不一致的，这种不一致为几何变形，也称几何畸变。几何校正就是通过一系列的数学模型来改正和消除这种几何畸变，使其定位准确。

几何校正原理示意：真实世界的地形是立体而凹凸不平的，但遥感卫星传感器只能获取平面二维像素，这就带来了地形扭曲 | 图源：网络；重制图：超擎时空

图像增强

图像对比度增强 （Image Contrast Enhancement）

统计每幅图像的各亮度的像元数而得到的随机分布图，即为该幅图像的直方图。 一般来说，包含大量像元的图像，像元的亮度随机分布应是正态分布。直方图为非正态分布，说明图像的亮度分布偏亮、偏暗或亮度过于集中，图像的对比度小，需要调整该直方图到正态分布，以改善图像的质量，并便于分辨地物轮廓并提取信息。

彩色合成

为了充分利用色彩在遥感图像判读和信息提取中的优势，常利用彩色合成的方法对多光谱图像进行处理，以得到彩色图像。如上图，彩色图像可以分为真彩色图像和假彩色图像。

密度分割

将灰度图像按照像元的灰度值进行分级，再分级赋以不同的颜色，使原有灰度图像变成伪彩色图像，达到图像增强的目的。

图像运算

两幅或多幅单波段图像，空间配准后可进行算术运算，实现图像的增强。根据地物在不同波段的灰度差异，通过不同波段的代数运算产生新的“波段”，常见的有加法运算、减法运算、比值运算和综合运算，如：

减法运算：可突现出两波段差值大的地物，如红外-红，可突现植被信息。
比值运算：常用于计算植被指数、消除地形阴影等。
植被指数：NDVI=（IR-R）/（IR+R）

图像融合

遥感图像信息融合是有效提升图像分辨率与信息量的手段，将多源遥感数据在统一的地理坐标系中，采用一定的算法生成一组新的信息或合成图像的过程。

不同的遥感数据具有不同的空间分辨率、波谱分辨率和时相分辨率，将低分辨率的多光谱影像与高分辨率的单波段影像重采样生成一副高分辨率多光谱影像遥感的图像处理技术，使得处理后的影像既有较高的空间分辨率，又具有多光谱特征。

图像裁剪

在遥感实际应用中，用户可能只对遥感影像中的一个特定的范围内的信息感兴趣，这就需要将遥感影像裁减成研究范围的大小。常用的裁剪方式有，按ROI（兴趣区域）裁剪、按文件裁剪（按照指定影像文件的范围大小）、按地图裁剪（根据地图的地理坐标或经纬度的范围）。

图像镶嵌

也叫图像拼接，是将两幅或多幅数字影像(它们有可能是在不同的摄影条件下获取的)拼在一起，构成一幅整体图像的技术过程。 通常是先对每幅图像进行几何校正，将它们规划到统一的坐标系中，然后对它们进行裁剪，去掉重叠的部分，再将裁剪后的多幅影像装配起来形成一幅大幅面的影像。

镶嵌匀色

将若干幅互为邻接的遥感影像通过拼接匀色技术合并成一幅统一的新影像。

信息提取

遥感图像中目标地物的特征是地物电磁波的辐射差异在遥感影像上的反映。依据遥感图像上的地物特征，识别地物类型、性质、空间位置、形状、大小等属性的过程即为遥感信息提取。

目视判读

也叫人工解译，即用人工肉眼与经验判读遥感影像，对遥感影像上目标地物的范围进行手工勾绘，达到信息提取的目的。人工解译为传统常用的信息提取办法，但在海量影像下判读分析效率相对低。

图像分类

是依据是地物的光谱特征，确定判别函数和相应的判别准则，将图像所有的像元按性质分为若干类别的过程，主要方式分为监督分类与非监督分类。

- 监督分类

监督分类是在分类前人们已对遥感影像样本区中的类别属性有了先验知识，进而可利用这些样本类别的特征作为依据建立和训练分类器（亦即建立判别函数），进而完成整幅影像的类型划分，将每个像元归并到相对应的一个类别中去。

监督分类也是目前遥感AI最为常见的应用方式，即通过样本库，用机器学习对特定地物进行分类、标注或识别。

- 非监督分类

非监督分类也称聚类分析，是指人们事先对分类过程不施加任何的先验知识，而仅凭数据（遥感影像地物的光谱特征的分布规律）、即自然聚类的特性进行“盲目”的分类；是以集群为理论基础，通过计算机对图像进行集聚统计分析的方法，是模式识别的一种方法。一般算法有：回归分析、趋势分析、等混合距离法、集群分析、主成分分析和图形识别等。

监督分类和非监督分类的区别 ：有监督必须有训练集与测试样本。在训练集中找规律，而对测试样本使用这种规律；非监督没有训练集，只有一组数据，在该组数据集内寻找规律。

04、 遥感数据处理正在发生怎样的改变？

遥感数据处理更像是生产制造中的“原材料粗加工”环节，也是遥感影像数据智能应用和业务融合的前序手段，从前文的介绍来看，其过程也是较为复杂和专业的。

作为对地观测和遥感产业化的重要组成部分，位于产业中下游的遥感数据处理，也受到了大数据时代的冲击，正在响应这一趋势并发生变革，走向 实时化、标准化、规模化、自动化 。

在企业数字化转型中，人们常说的一句话是，所有传统产业都值得用数字化再做一遍，在传统的数据生产、信息服务产业也是如此，其模式和流程都值得用算法和AI再做一遍。

当算法与人工智能逐步渗透遥感数据处理这个环节，能够解决遥感产业数据生产服务中的很多难题，例如数据分发周期与链路长，处理环节多，海量数据处理的精准、一致性等问题，这我们可以将其视为“自动化批量处理”。

当中游算法引擎解决了数据服务和数据计算效率和自动化流程的问题后，下游也将出现更多适用于各种垂直细分场景的精细化应用数据产品，而在以上介绍的遥感影像信息提取环节，有了AI和算法的参与，也出现很多高效的自动化功能，如目标识别、地物提取、地物分类、变化检测等，逐步帮助人类提高解译的效率，形成遥感产业下游的“智能化信息挖掘”机制。

我们可以看到，从遥感数据获取源头，到数据处理，到终端应用，其效率与底层数据模式密不可分，在卫星互联网和对地观测 星座 逐步构建成型的趋势下，只有将数据的获取、处理和共享流程标准化，大规模、自动化、流水化的遥感产业才能更好地地为政企数字化转型发挥动能，也真正地迎来时空大数据时代。

参考资料

《遥感数字影像处理教程》韦玉春 汤国安 杨昕 编着

3. BSPBILBIP如何进行多波段遥感影像的存储

多波段数据的存储方式主要有3种。
分别是：逐波段存储BSQ、逐行存储BIL、逐像元存储BIP。
逐波段存储就是将一个波段的数据存储在一起，这样的话对于要一次性读取一个波段的操作较好，可是要是每次操作都涉及到几个波段的数据，这样的存储方法就对内存的占用比较大。也就是说逐波段存储对处理空间信息有利。逐像元存储将一个像元的数据先存储起来，然后再存储其他像元的数据，也就是说同一个像元的光谱信息被存在了一个连续的地址，这样对于操作像元光谱信息频繁的操作来说十分方便快捷。逐行存储是一种介于逐波段存储和逐像元存储的方法，它将各通道的每一行存储在一起，具体来说，就是存好了1通道的第1行，接着2通道的第1行，然后3通道的第1行，等等，当第1行都存储完毕就去存储第2行的数据。

4. 遥感影像的三种主要格式定义

遥感图像包括多个波段，有多种存储格式，但基本的通用格式有三种，即BSQ、BIL和BIP格式。

1、BSQ(band sequential)是像素按波段顺序依次排列的数据格式。即先按照波段顺序分块排列，在每个波段块内，再按照行列顺序排列。同一波段的像素保存在一个块中，这保证了像素空间位置的连续性。

2、BIL(band interleaved by line)格式中，像素先以行为单位分块，在每个块内，按照波段顺序排列像素。同一行不同波段的数据保存在一个数据块中。像素的空间位置在列的方向上是连续的。

3、BIP(band interleaved by Pixel)格式中，以像素为核心，像素的各个波段数据保存在一起，打破了像素空间位置的连续性。保持行的顺序不变，在列的方向上按列分块，每个块内为当前像素不同波段的像素值。

(4)遥感数据存储扩展阅读

各类遥感图像都存在在几何校正的问题。由于人们已习惯使用正射投影的地形图，因此对各类遥感影像的畸变都必须以地形图为基准进行几何校正。几何校正大致如下：

①选择控制点：在遥感图像和地形图上分别选择同名控制点，以建立图像与地图之间的投影关系，这些控制点应该选在能明显定位的地方，如河流交叉点等。

②建立整体映射函数：根据图像的几何畸变性质及地面控制点的多少来确定校正数学模型，建立起图像与地图之间的空间变换关系，如多项式方法、仿射变换方法等。

③重采样内插：为了使校正后的输出图像像元与输入的未校正图像相对应,根据确定的校正公式，对输入图像的数据重新排列。在重采样中，由于所计算的对应位置的坐标不是整数值，必须通过对周围的像元值进行内插来求出新的像元值。

5. 数字图像的存储格式

遥感数据以磁带、光盘等为存储介质，由一个或多个文件组成，每个文件又以若干个记录组成。记录是作为一个单位来处理的一组相连的数据，分为物理记录和逻辑记录; 文件是由若干个逻辑记录构成的在目的、形式和内容上彼此相似的信息项的集合。逻辑记录的排列方式决定了文件的结构方式，加之不同的辅助说明信息而构成了不同的遥感数据格式。对于遥感数字图像而言，它必须以一定的格式存储，才能有效地进行分发和利用。

多波段图像具有空间的位置和光谱的信息。多波段图像的数据格式根据在二维空间的像元配置中如何存储各种波段的信息可分为四类。

1. BSQ，BIL，BIP 格式

BSQ ( Band Sequential) 格式，又称为波段序贯格式，在一个遥感数据文件内各像元DN 值相当于以 “波段” 为主要关键字、以 “行” 为次要关键字、以 “列” ( 像元号) 为第三关键字对像元 DN 值进行排序存放。

BIL ( Band Interleaved by Line) 格式，又称为波段行交叉格式，在一个遥感数据文件内各像元 DN 值相当于以 “行”为主要关键字、以 “波段”为次要关键字、以 “列”( 像元号) 为第三关键字对像元 DN 值进行排序存放。

BIP ( Band Interleaved by Pixels) 格式，又称为波段像元交叉格式，在一个遥感数据文件内各像元 DN 值相当于以 “行”为主要关键字、以 “列” ( 像元号) 为次要关键字、以 “波段”为第三关键字对像元 DN 值进行排序存放。

上述遥感数据基本格式具有不同的特点和适用范围。BSQ 格式最适合于对单个波段的整个或部分图像空间区域进行存储和读取等处理操作，如图像对比度增强、平滑、锐化等; BIP 格式为图像数据单个像元波谱特性的存储与读取提供最佳性能，如在最大似然比分类法、波段之间的加减乘除代数运算等亦宜采用该格式; BIL 方式具有以上两种方式的中间特征，提供了图像空间和像元波谱处理之间的一种折中的方式，适用于以行 ( 图像扫描行) 为单位的处理操作，如水平方向的线性影像特征增强处理等。

2. Fast － L7A 格式

该格式是美国 EDC 在沿用了以往 Landsat 数据产品快速格式的基础上而选用的记录Landsat-7 / ETM + 数据的格式之一。Fast － L7A 格式的数据由 3 个头文件及 8 个数据文件组成，3 个头文件对应 Landsat-7 数据的三个波段组: 全色波段组、可见光及近红外波段组、热红外波段组; 8 个数据文件对应 Landsat-7 数据的 8 个波段。

3 个头文件中，每个头文件包含 3 个 1536 字节的记录，分别是管理记录、辐射记录和几何记录，它们记录了产品标识信息、图像标识信息、辐射校正系数、地图投影、地球模型、太阳高度角和方位角等图像数据辅助信息。8 个数据文件中，每个文件仅含一个波段的数据而不含头尾记录，图像数据按行顺序排列，并以 8 bit 无符号整数表示。

3. GeoTIFF 格式

GeoTIFF 是包含地理信息的一种 TIFF 格式的文件。GeoTIFF 格式的数据由 1 个头文件及相应的数据文件组成。其头文件与 Fast － L7A 头文件相似，8 个数据文件分别对应于Landsat-7 数据的 8 个波段数据。

4. HDF 格式

HDF ( Hierarchical Data Format，层次数据格式) 是由美国伊利诺伊大学 ( the Univer-sity of Illinois) 的国家超级计算应用中心 ( The National Center for Supercomputing Applica-tions，NCSA) 于 1987 年研制开发的一种软件和函数库，它使用 C 语言和 Fortran 语言编写，是一种超文本文件格式，能够存储不同种类的科学数据，包括图像、多维数组、指针及文本数据。HDF 格式还提供命令方式，分析现存 HDF 文件的结构，并即时显示图像内容。科学家可以用这种标准数据格式快速熟悉文件结构，摆脱不同数据格式之间相互转换的繁琐，而将更多的时间和精力用于数据管理和分析。目前，在国外各种卫星传感器上，已经广泛使用了这种标准数据格式，如 Landsat-7，EOS － TERRA，EOS － AQUA 等。

在物理存储结构上，一个 HDF 文件包括一个文件头 ( File Header) ，一个或多个描述块 ( Data Descriptor Block) ，若干个数据对象 ( Data Object) 。文件头位于 HDF 文件的头四个字节，其内容为四个控制字符的 ASCII 码值，四个控制字符为 N，C，S，A，可用于判断一个文件是否为 HDF 文件格式。数据对象是 HDF 文件最基本的存储元素，包括一个描述符和一个对应的数据元素。描述符长度为 12 个字节，主要用来描述这个数据元素的数据类型、位置偏移量、数据元素字节数。在实际的 HDF 文件中，描述符并不是和它对应的数据元素连在一起，而是把相关的许多描述符放在一起而构成一个描述块，在这个块的后面顺序存储了各个描述符所对应的数据元素。数据元素是数据对象中的裸数据部分，也就是数据本身，可以是字符、整数、浮点数、数组等。

1993 年美国航空航天局 ( NASA) 把 HDF 格式作为存储和发布 EOS ( Earth Observa-tion System，对地观测系统) 数据的标准格式，此后又在 HDF 标准的基础上共同开发了一种专门化的 HDF 格式———HDF － EOS，专门用于处理各种 EOS 产品。HDF － EOS 使用标准的 HDF 数据类型定义了点、条带、网格这三种特殊数据类型，并且引入了元数据( Metadata) ，简化了空间数据的访问过程，提高了科学研究和用户对 EOS 数据的访问速度。

遥感技术被应用以来，遥感数据采用过很多格式，以 Landsat-7 卫星的数据产品为例，该数据产品由美国地球观测系统数据中心 ( EDC) 提供，按照产品处理级别可分为 三类，即 Level 0R，Level 1R 和 Level 1G。三种产品的定义如下 :

Level 0R: 未经辐射校正和系统级几何校正的数据产品。

Level 1R: 经过辐射校正但未经系统级几何校正的数据产品。

Level 1G: 经过辐射校正和系统级几何校正的数据产品。

EDC 的各类产品所采用的数据格式共有三种，分别是 HDF，Fast － L7A 和 GeoTIFF，产品类型和数据格式之间的对应关系见表 4-1。

表 4-1 Landsat-7 数据产品类型及数据格式

在遥感数据中，除图像信息以外还附带有各种注记信息。这是提供数据结构在进行数据分发时，对存储方式用注记信息的形式来说明所提供的格式。以往曾使用多种格式，但从 1982 年起逐渐以世界标准格式的形式进行分发。因为这种格式是由 Landsat TechnicalWorking Group 确定的，所以也称 LTWG 格式。世界标准格式具有超结构 ( Super Struc-ture) 的构造，在它的描述符、文件指针、文件说明符的三种记录中记有数据的记录方法。其图像数据部分为 BSQ 方式或 BIL 方式。

6. 基础数据库

(一)数据内容

基础数据库包括系统运行前所采集到的所有支撑数据，数据的具体内容在数据分类与数据源章节中已描述，概括可分为以下几类。

(1)遥感影像数据:包括历史图像数据，以及按照一定监测周期更新的遥感图像数据。

(2)数字线划图数据:矢量数据(现状专题图和历史专题图数据)、栅格数据、元数据等。入库前数据以ArcInfoCoverage格式分幅或整体存储，采用地理坐标系统。

(3)数字栅格图数据:包括1∶5万和1∶10万基础地理图形数据的扫描栅格数据。

(4)数字高程模型数据:塔里木河干流河道1∶1万和“四源一干”区域1∶10万数字高程模型。

(5)多媒体数据:考察照片、录像、录音和虚拟演示成果等多媒体资料。

(6)属性数据:社会经济与水资源数据、水利工程数据、生态环境数据等。

(二)数据存储结构

1.栅格数据

栅格数据包括遥感影像、数字栅格图、数字正射影像图、数字高程模型等，这些数据的存储结构基本类似，因此可进行统一设计。遥感图像数据库与普通的图像数据库在存储上有些差别，遥感图像作为传感器对地理、空间环境在不同条件下的测量结果(如光谱辐射特性、微波辐射特性)，必须结合同时得到的几个图像才可以认为是对环境在一定的时间条件下的完整的描述，也即是说，可能需要一个图像集合才能构成一个图像的完整的概念，并使之与语义信息产生联系(罗睿等，2000)。因此，遥感图像数据存储结构模型必须能够描述几个图像(波段)之间的逻辑关系。利用ArcSDE进行数据入库时，系统可自动建立各图像(波段)之间的关系，并按一定规则存储在数据库系统中。

对栅格数据在后台将采用Oracle数据库管理系统进行存储。Oracle系统可直接存储影像信息，并具有较强的数据管理能力，可以实现栅格数据信息的快速检索和提取。数据引擎采用ArcSDE，实现各类影像数据的入库。数据存储的关键是建立图幅索引，本系统数据的存储按图幅号、图名、采集时间等内容建立索引。

栅格数据依据图形属性一体化的存储思想，采用大二进制格式直接存储数据，这种方式的存储可实现内容的快速检索查询，按索引表检索出相关项后可直接打开栅格数据，提高栅格数据的管理效率。

2.矢量数据

本系统采用图属一体化思想即将空间数据和属性数据合二为一，全部存在一个记录集中的思想存储空间数据，是目前GIS数据非常流行的存储方法。考虑到数据的具体情况，决定采用数据库存储空间数据和属性数据，部分具有少量、定型几何信息的地理要素如水文测站、河流、湖泊等，采用图属一体化思想存储其信息，而与其有关联关系的大量、多边化的属性信息如水文信息，则存储在属性数据表中，利用唯一标识符信息建立两表的关联。

针对本系统空间数据的特点，系统按照“数据库—子库—专题(基础数据)—层—要素—属性”的层次框架来构筑空间数据库，按照统一的地理坐标系统来存储空间数据，以实现对地理实体/专题要素进行分层叠加显示。

3.多媒体数据

Oracle系统可直接存储图片和视频信息，并具有较强的数据管理能力，可以实现多媒体信息的快速检索和提取。多媒体数据存储的关键是建立索引表，本系统多媒体数据的存储按类型、时间、内容等项目建立索引，直接存储于Oracle数据库中。

多媒体数据存储时，可以将多媒体内容与索引表结构合为一体，采用大二进制格式直接存储，这种存储方式可实现内容的快速检索和查询，按索引表检索出相关项后可直接打开多媒体内容，而且多媒体数据库也便于维护管理。

(三)空间索引设计

1.矢量空间索引

确定合适的格网级数、单元大小是建立空间格网索引的关键。格网太大，在一个格网内有多个空间实体，查询检索的准确度就低。格网太小，则索引数据量成倍增长和冗余，检索的速度和效率低。每一个数据层可采用不同大小、不同级别的空间索引格网单元，但每层级数最多不能超过三级。索引方式设置遵循以下基本原则:

(1)对于简单要素的数据层，尽可能选择单级索引格网，减少RDBMS搜索格网单元索引的级数，缩短空间索引搜索的过程;

(2)如果数据层中的要素封装边界大小变化比较大，应选择2或3级索引格网;

(3)如果用户经常对图层执行相同的查询，最佳格网的大小应是平均查询范围的1.5倍;

(4)格网的大小不能小于要素封装边界的平均大小。为了减少每个格网单元有多个要素封装边界的可能性，格网单元的大小应取要素封装边界平均大小的3倍;

(5)格网单元的大小不是一个确定性的问题，需要多次尝试和努力才会得到好的结果。有一些确定格网初始值的原则，用它们可以进一步确定最佳的格网大小。

SDE(Spatial Data Engine，即空间数据引擎)，从空间管理的角度看，是一个连续的空间数据模型，可将地理特征的空间数据和属性数据统一集成在关系型数据库管理系统中。关系型数据库系统支持对海量数据的存储，从而也可实现对空间数据的海量存储。空间数据可通过层来进行数据的划分，将具有共同属性的一类要素放到一层中，每个数据库记录对应一层中一个实际要素，这样避免了检索整个数据表，减少了检索的数据记录数量，从而减少磁盘输入/输出的操作，加快了对空间数据查询的速度。

ArcSDE采用格网索引方式，将空间区域划分成合适大小的正方形格网，记录每一个格网内所包含的空间实体(对象)，以及每一个实体的封装边界范围，即包围空间实体的左下角和右上角坐标。当用户进行空间查询时，首先计算出用户查询对象所在格网，然后通过格网号，就可以快速检索到所需的空间实体。因此确定合适的格网级数、单元大小是建立空间格网索引的关键，太大或太小均不合适，这就需要进行多次尝试，确定合适的网格大小，以保证各单元能均匀落在网格内。利用ArcSDE的索引表创建功能，记录每一网格单元的实体分布情况，形成图层空间索引表。根据空间索引表，ArcSDE实现了对空间数据的快速查询。

2.栅格数据空间索引

栅格数据的空间索引通过建立多级金字塔结构来实现。以高分辨率栅格数据为底层，逐级抽取数据，建立不同分辨率的数据金字塔结构，逐级形成较低分辨率的栅格数据。该方法通常会增加20%左右的存储空间，但却可以提高栅格数据的显示速度。在数据库查询检索时，调用合适级别的栅格数据，可提高浏览和显示速度。

(四)入库数据校验

入库数据的质量关系到系统评价分析结果的准确性。数据在生产中就需要严格进行质量控制。依据数据生产流程，将数据质量控制分成生产过程控制和结果控制。生产过程控制包括数据生产前期的质量控制、数据生产过程中的实时质量控制，结果质量控制为数据生产完成后的质量控制(裴亚波等，2003)。对入库数据的校验主要是进行数据生产完成后的质量控制和检查。

1.规范化检查

(1)代码规范化:所有地理代码尽量采用国家标准和行业标准，例如，行政代码采用中华人民共和国行政区划代码国标。

(2)数据格式规范化:所有数据采用标准交换数据格式，例如，矢量数据采用标准输出Coverage格式和E00格式。

(3)属性数据和关系数据字段规范化:所有属性数据和关系数据提前分门别类地设计字段的内容、长短和格式，操作过程中严格执行。

(4)坐标系统规范化:本系统所有与空间有关的数据采用统一的空间坐标系统，即地理坐标系统。

(5)精度规范化:所有数据按照数据精度与质量控制中所要求的精度进行采集和处理。

(6)命名规范化:所有数据按照命名要求统一命名，便于系统的查询。

(7)元数据规范化:依照元数据标准要求，进行元数据检查。

2.质量控制

数据质量是GIS成败的关键。对于关系型数据库设计，只要能保证表的实体完整性和参照完整性，并使之符合关系数据库的三个范式即可。对于空间数据库设计，则不仅要考虑数据采样、数据处理流程、空间配准、投影变换等问题，还应对数据质量做出定量分析。

数据质量一般可以通过以下几个方面来描述(吴芳华等，2001):

(1)准确度(Accuracy):即测量值与真值之间的接近程度，可用误差来衡量;

(2)精度(Precision):即对现象描述得详细程度;

(3)不确定性(Uncertainty):指某现象不能精确测得，当真值不可测或无法知道时，就无法确定误差，因而用不确定性取代误差;

(4)相容性(Compatibility):指两个来源不同的数据在同一个应用中使用的难易程度;

(5)一致性(Consistency):指对同一现象或同类现象表达的一致程度;

(6)完整性(Completeness):指具有同一准确度和精度的数据在类型上和特定空间范围内完整的程度;

(7)可得性(Accessibility):指获取或使用数据的容易程度;

(8)现势性(Timeliness):指数据反映客观现象目前状况的程度。

塔里木河流域生态环境动态监测系统的所有数据在数据质量评价后，还需要从数据格式、坐标一致性等方面进行入库质量检验，只有通过质量检验的数据才可以入库。

3.数据检验

空间数据质量检验包括以下步骤:

(1)数据命名是否规范，是否按设计要求命名;

(2)数据是否能够正常打开;

(3)投影方式是否正确;

(4)坐标系统是否正确;

(5)改错是否完成，拓扑关系是否建立;

(6)属性数据是否正确，包括字段设置是否依据设计进行、是否有空属性记录、是否有属性错误记录等。

关系数据质量检验包括以下步骤:

(1)数据命名是否规范，是否按设计要求命名;

(2)数据是否能够正常打开;

(3)数据字段是否按设计要求设置;

(4)是否有空属性记录;

(5)是否有属性错误记录。

属性数据的校验，主要采用以下三种方式:

(1)两次录入校验:对一些相互之间毫无关联的数据，进行两次的录入，编写程序对两次录入的结果进行比较，找出两次录入结果不一样的数据，查看正确值，进行改正。

(2)折线图检验:对一些相互之间有关联的序列数据，如人口统计数据，对这一类数据，编写程序把数据以折线图的形式显示在显示器上，数据的序列一般都有一定规律，如果出现较大的波动，则需对此点的数据进行检查修改。

(3)计算校验:对一些按一定公式计算后所得结果与其他数据有关联的数据，如某些数据的合计等于另一数据，编写程序对这类数据进行计算，计算结果与有关联的数据进行比较，找出结果不一样的数据，查看正确值，进行改正。

图形数据的校验，主要包括以下步骤(陈俊杰等，2005):

(1)图层校验:图形要素的放置图层是唯一的。对于入库的Coverage数据，系统将根据图层代码进行检查，确保图形要素对层入座。

(2)代码检查:图形要素的代码是唯一的。对于入库的Coverage数据，系统将根据入库要素代码与特征表中的代码进行比较，确保入库数据代码存在，杜绝非法代码入库。

(3)类型检查:对入库的数据，检查该要素的类型与特征表中的类型是否一致，确保图形要素对表入座。如点要素、线要素、面要素仅能赋相应的点、线、面代码，且该代码必须与特征表中的数据类型代码相同。

(4)范围检查:根据入库的数据，确定该类要素的大体范围(如X、Y坐标等)，在数据入库前，比较入库数据与范围数据的大小，若入库数据在该范围内，则入库，否则给出提示检查信息。

(五)数据入库

1.遥感影像数据

利用空间数据引擎———ArcSDE可实现遥感影像数据在Oracle数据库中的存储和管理，在影像数据进行入库时，应加入相应的索引和影像描述字段。

遥感影像入库步骤:

(1)影像数据预处理:要将塔里木河遥感影像数据库建成一个多分辨率无缝影像数据库系统，客观上要求数据库中的影像数据在几何空间、灰度空间连续一致。因此，在数据采集阶段就需要对影像数据进行预处理，包括图像几何校正、灰度拼接(无缝镶嵌)、正射处理、投影变换等。

几何校正的目的是使校正后的图像重新定位到某种地图投影方式，以适用于各种定位、量测、多源影像的复合及与矢量地图、DTM等的套合显示与处理。几何校正多采用二次多项式算法和图像双线性内插重采样法进行图像校正。将纠正后具有规定地理编码的图像按多边形圈定需要拼接的子区，逐一镶嵌到指定模版，同时进行必要的色彩匹配，使整体图像色调一致，完成图像的几何拼接，再采用金字塔影像数据结构和“从粗到精”的分层控制策略实现逐级拼接。

数字正射影像具有统一的大地坐标系、丰富的信息量和真实的景观表达，易于制作具有“独立于比例尺”的多级金字塔结构影像。可以采用DTM和外方位元素经过数字微分纠正方法，获得数字正射影像，它的基本参数包括原始影像与正射影像的比例尺、采样分辨率等(方涛等，1997)。

投影变换需根据数据库系统定义的标准转换到统一的投影体系下。

(2)影像数据压缩:随着传感器空间分辨率的提高和对遥感信息需求的日益增长，获取的影像数据量成几何级数增大，如此庞大的数据将占用较大的存储空间，给影像的存储和传输带来不便(葛咏等，2000)。目前，系统处理的遥感影像数据已达数百千兆，单个文件的影像数据最大达到了2G，这样的数据量在调用显示时速度很慢，对影像数据进行压缩存储，将大大提高影像访问效率。本系统采用ArcSDE软件提供的无损压缩模式对入库影像进行压缩。

(3)影像导入:遥感影像的入库可通过ArcSDE或入库程序进行导入，并填写相关的索引信息，在入库时对大型的遥感影像数据进行自动分割，分为若干的块(tiles)进行存储。

(4)图像金字塔构建:采用ArcSDE提供的金字塔构建工具在入库时自动生成图像金字塔，用户只需要选择相应的参数设置即可。图像金字塔及其层级图像按分辨率分级存储与管理。最底层的分辨率最高，并且数据量最大，分辨率越低，其数据量越小，这样，不同的分辨率遥感图像形成了塔式结构。采用这种图像金字塔结构建立的遥感影像数据库，便于组织、存储与管理多尺度、多数据源遥感影像数据，实现了跨分辨率的索引与浏览，极大地提高了影像数据的浏览显示速度。

2.数字线划图

对纸图数字化、配准、校正、分层及拼接等处理后，生成标准分幅和拼接存储的数字矢量图，就可以进行图形数据入库。

(1)分幅矢量图形数据、图幅接合表:按图形比例尺、图幅号、制作时间、图层等方式，通过入库程序导入到数据库中，同时导入与该地理信息相对应的属性信息，建立空间信息与属性信息的关联。

(2)拼接矢量图形数据:按图形比例尺、制作时间、图层等方式，通过入库程序导入到数据库中，同时导入与该地理信息相对应的属性信息，建立空间信息与属性信息的关联。

3.栅格数据

对纸图数字化、配准、校正、分层及拼接等处理后，生成标准分幅和整体存储的数字栅格图，然后进行图形数据入库。

(1)分幅栅格图形数据、图幅接合表:按图形比例尺、图幅号、制作时间等方式，通过入库程序导入到数据库中。

(2)整幅栅格图形数据:按比例尺、制作时间等方式，通过入库程序导入到数据库中。

4.数字高程模型

(1)分幅数字高程模型数据、图幅接合表:按图形比例尺、图幅号、制作时间等方式，通过入库程序导入到数据库中。

(2)拼接数字高程模型数据:按比例尺、制作时间等方式通过入库程序导入到数据库中。

5.多媒体数据

多媒体数据入库可根据多媒体数据库内容的需要对入库数据进行预处理，包括音频、视频信息录制剪接、文字编辑、色彩选配等。对多媒体信息的加工处理需要使用特定的工具软件进行编辑。由于音频信息和视频信息数据量巨大，因此，对多媒体数据存储时需采用数据压缩技术，现在的许多商用软件已能够直接存储或播放压缩后的多媒体数据文件，这里主要考虑根据数据显示质量要求选择采用不同的存储格式。图4－2为各类多媒体数据的加工处理流程。

图4－2 多媒体数据加工处理流程图

6.属性数据

将收集的社会经济、水利工程、生态环境等属性资料，进行分析整理，输入计算机，最后经过程序的计算处理，存储到数据库中，具体流程如图4－3所示。

图4－3 属性数据入库流程图