数据库数据存储原理

㈠ 数据库存储原理。存一段数据，会在数据库中保存两次吗当磁盘坏道而使数据库损坏，修复数据库是什么原理

数据是不会存储两份的,但是数据库都有事务日志文件,对数据的修改都会被记日志。当磁盘坏道破坏了数据库文件时，可以使用备份还原数据库，并使用日志恢复数据到最新的状态。不过完成这一操作，需要提前备份数据库。

㈡ 分析大文本与图像数据在数据库内部的存储原理。

图像数据在数据库内部的存储原理:
XML 是文本型的数据交换结构，对于字符类型的文本交换非常的方便，实际工作中我们往往需要通过 XML 将二进制格式的图形图像信息数据进行数据交换。本文从介绍 BASE64 编码的原理入手，通过采用 C 语言编写 DB2 的嵌入存储过程，实现了在数据库内存中将文本格式的图片文件到二进制 BLOB 字段之间的转换，并且就性能优化等提出若干建议，该设计思路和程序可以广泛的应用到图像图形数据在 XML 的存储和转换。

--------------------------------------------------------------------------------
回页首
XML 存储图形图像的基本原理

XML 作为一种非常广泛的数据交换的载体被广泛的应用到了各行各业的数据交换中。对于图形图像数据的转换，需要采用 Base64 编码将二进制格式的图形图像信息转换成文本格式再进行传输。

Base64 编码转换的思想是通过 64 个 ASCII 字符码对二进制数据进行重新编码组合，即将需要转换的数据每三个字节（24 位）为一组，再将这 24 位数据按每组 6 位进行重新划分，在每组的最高 2 位填充 0 最终成一个完整的 8 位字节。如果所要编码的数据的字节数不是 3 的整数倍，需要在最后一组数据填充 1 到 2 个字节的 0 字节。例如：我们对 ABC 进行 BASE64 的编码，ABC 的编码值：A(65), B(66), C(67)。再取二进制 A（01000001）B（01000010）C（01000011）连接起来构成 010000010100001001000011，然后按 6 位为单位分成 4 个数据块并在最高位填充两个 0 后形成 4 个字节的编码后的值（00010000）（00010100）（00001001）（00000011）。再将 4 个字节的数据转换成十进制数为（16）（20）（19）（3）。最后根据 BASE64 给出的 64 个基本字符表，查出对应的 ASCII 码字符（Q）（U）（J）（D）。这里的值实际就是数据在字符表中的索引。

BASE64 字符表：

。

某项目的数据交换采用 XML 的为介质，XML 的结构包括个人基本信息：姓名、性别、相片等信息，其中相片信息是采用经过 BASE64 函数转换后的文本型数据，图像图形信息通过 BASE64 进行数据转换后，形成文本格式的数据类型，再将相应的数据存放到 XML 中，最终形成可供交换的文本型的 XML 数据结构。

XML 的数据结构如下所示：

<?xml version=”1.0” encoding=”UTF-8” ?>
<HeadInfo>
<TotalNum>10<TotalNum>
<TransDate>2007-10-18</TransDate>
</HeadInfo>
<Data>
<Name> 张三 </Name>
<Sex> 男 </Sex>
<Photo>/9j/4AAQSkZJRgABAQAAAQABAAD......</Photo>
<Data>

--------------------------------------------------------------------------------
回页首
相片数据在 DB2 嵌入式 C 程序的实现方法

该项目要求能够在 DB2 数据库中将相片数据存储为二进制 BLOB 格式。我们采用 DATASTAGE 进行 XML 数据加载，将 XML 中的姓名、性别等基本数据项加载到相应的字段，其中文本型的相片数据则加载到 CLOB 字段中，再按照 BASE64 的编码规则进行逆向转码，整个数据流程如下图所示：

图 1. 相片存储流程图

用户的相片每天的更新数据为 30 万条，而且每个相片的平均大于 32KB，为了获得最佳的数据库性能，选择采用 C 存储过程的方式开发了 BASE64 的转换函数。每次函数读取存储在 CLOB 字段的文本格式数据全部存储到内存中，并且通过 decode 函数在内存中进行转码，转码后再存入数据库中。

程序的清单 1 是逐行读取 CLOB 字段，并且调用 decode 函数进行转码；程序的清单 2 是 decode 函数的关键性代码。完整的程序见源代码下载部分。

清单 1. 读入 CLOB，写入 BLOB 字段

EXEC sql BEGIN DECLARE SECTION;
SQL TYPE IS CLOB(100 K) clobResume; //CLOB 结构体变量
SQL TYPE IS BLOB(100 K) blobResume; //BLOB 结构体变量

sqlint16 bobind;
sqlint16 lobind;
sqlint16 cobind;
sqlint32 idValue;

EXEC SQL END DECLARE SECTION;
int clob2bin(void)
{
// 声明 SQLCA 结构
struct sqlca sqlca;
int charNb;
int lineNb;
long n;
n=0;

// 定义数据库游标
EXEC SQL DECLARE c1 CURSOR WITH HOLD FOR
SELECT czrkxp_a
FROM CZRK_blob for update;
EXEC SQL OPEN c1;

// 活动 CLOB 字段的信息，已经 CLOB 字段的大小
EXEC SQL FETCH c1 INTO :clobResume:cobind;
// 循环读取 CLOB 字段，并且调用 DECODE 转码函数
while (sqlca.sqlcode != 100)
{
if (cobind < 0)
{
printf(“ NULL LOB indicated.\n”);
}
else
{
n++;
decode(); // 文本格式到二进制流的转码函数
printf(“\nCurrent Row =%ld”,n);
// 数据写入 BLOB 字段
EXEC SQL update czrk_blob set czrkxp_blob = :blobResume
where current of c1; ;
// 提交事务
EXEC SQL COMMIT;
}
EXEC SQL FETCH c1 INTO :clobResume:cobind ;
}
// 关闭游标
EXEC SQL CLOSE c1;
EXEC SQL COMMIT;
return 0;
}

清单 2. 文本文件到二进制文件的转换

void decode( void )
{
unsigned char in[4], out[3], v;
int I, len;
long j,k;
j = -1;
k=0;
// 将读入 CLOB 结构体变量的数据进行转换
while( j < clobResume.length){
for( len = 0, I = 0; I < 4 && ( j < clobResume.length ); i++ ) {
v = 0;
while((j < clobResume.length) && v == 0 ) {
j++;
v = (unsigned char) clobResume.data[j];
v = (unsigned char) ((v < 43 || v > 122) ? 0 : cd64[ v – 43 ]);
if( v ) {
v = (unsigned char) ((v == ‘$’) ? 0 : v – 61);
}
}
if( j < clobResume.length ) {
len++;
if( v ) {
in[ I ] = (unsigned char) (v – 1);
}
}
else {
in[i] = 0;
}
}
if( len ) {
decodeblock( in, out );
// 写入到 BLOB 结构体变量中
for( I = 0; I < len – 1; i++ ) {
blobResume.data[k] = out[i];
k++;
}
}
}
blobResume.length= k;
}

--------------------------------------------------------------------------------
回页首
数据的转换效率和优化建议

在 IBM P570 数据库服务器上运行，该程序的运行效率非常高，先后进行了几个数量级的测试，最终平均测试的转换效率为：每 1 万笔数据记录，转换的效率 55 秒，即 182 条 / 秒。值得注意的是，整个转换过程占用 CPU 的量并不特别大，主要的性能瓶颈在磁盘阵列中。

以后可以进一步在以下方面进行调优，确保程序转换的效率更高：

1）采用多进程调用的方式，以获得更高的并发数量；

2）采用每 10 次或者 100 次提交事务的方式，减少访问磁盘的次数；

3）将 CLOB 和 BLOB 分别放置在不同的表空间上，并且将表空间分布在在多个磁盘上，获得最佳的磁盘访问速度。

㈢ 数据库原理及应用

数据库原理是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。应用：数据库管理系统可以依据它所支持的数据库模型来作分类，例如关系式、XML；或依据所支持的计算机类型来作分类，例如服务器群集、移动电话；或依据所用查询语言来作分类。

在数据库的发展历史上，数据库先后经历了层次数据库、网状数据库和关系数据库等各个阶段的发展，数据库技术在各个方面的快速的发展。特别是关系型数据库已经成为目前数据库产品中最重要的一员，80年代以来， 几乎所有的数据库厂商新出的数据库产品都支持关系型数据库，即使一些非关系数据库产品也几乎都有支持关系数据库的接口。

这主要是传统的关系型数据库可以比较好的解决管理和存储关系型数据的问题。随着云计算的发展和大数据时代的到来，关系型数据库越来越无法满足需要，这主要是由于越来越多的半关系型和非关系型数据需要用数据库进行存储管理。

同时，分布式技术等新技术的出现也对数据库的技术提出了新的要求，于是越来越多的非关系型数据库就开始出现，这类数据库与传统的关系型数据库在设计和数据结构有了很大的不同， 它们更强调数据库数据的高并发读写和存储大数据。

(3)数据库数据存储原理扩展阅读

数据库管理系统主要完成对数据库的操纵与管理功能，实现数据库对象的创建、数据库存储数据的查询、添加、修改与删除操作和数据库的用户管理、权限管理等。它的安全直接关系到整个数据库系统的安全，其防护手段主要有：

（1）使用正版数据库管理系统并及时安装相关补丁。

（2）做好用户账户管理，禁用默认超级管理员账户或者为超级管理员账户设置复杂密码；为应用程序分别分配专用账户进行访问；设置用户登录时间及登录失败次数限制，防止暴力破解用户密码。

（3）分配用户访问权限时，坚持最小权限分配原则，并限制用户只能访问特定数据库，不能同时访问其他数据库。

（4）修改数据库默认访问端口，使用防火墙屏蔽掉对外开放的其他端口，禁止一切外部的端口探测行为。

（5）对数据库内存储的重要数据、敏感数据进行加密存储，防止数据库备份或数据文件被盗而造成数据泄露。

（6）设置好数据库的备份策略，保证数据库被破坏后能迅速恢复。

（7）对数据库内的系统存储过程进行合理管理，禁用掉不必要的存储过程，防止利用存储过程进行数据库探测与攻击。

（8）启用数据库审核功能，对数据库进行全面的事件跟踪和日志记录。

㈣ 数据库原理是什么

数据库系统的基本概念
数据：实际上就是描述事物的符号记录。
数据的特点：有一定的结构，有型与值之分，如整型、实型、字符型等。而数据的值给出了符合定型的值，如整型值15。
数据库：是数据的集合，具有统一的结构形式并存放于统一的存储介质内，是多种应用数据的集成，并可被各个应用程序共享。
数据库存放数据是按数据所提供的数据模式存放的，具有集成与共享的特点。
数据库管理系统：一种系统软件，负责数据库中的数据组织、数据操纵、数据维护、控制及保护和数据服务等，是数据库的核心。

㈤ oracle数据库的存储原理是什么

表空间，oracle逻缉存储结构，表空间下包含一个或者多个物理的文件存储。
所有用户对象存放在表空间中。
与系统有关的对象存放在系统表空间中。

㈥ 什么是数据库列存储，原理是怎样的

数据库列存储不同于传统的关系型数据库，其数据在表中是按行存储的，列方式所带来的重要好处之一就是，由于查询中的选择规则是通过列来定义的，因 此整个数据库是自动索引化的。

按列存储每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量，一个字段的数据聚集存储，那就 更容易为这种聚集存储设计更好的压缩/解压算法。这张图讲述了传统的行存储和列存储的区别：

㈦ 数据库的工作原理是什么

数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，它产生于距今五十年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。

㈧ MySQL数据库能大量储存数据的原理是什么

原理就是硬盘容量大，硬盘容量不够大， mysql 怎么存大量数据？

另外，数据库的功能不在于能存大量数据，如果只是存的话，直接存文件也行，一样可以存大量数据。
数据库的主要能力是提供针对这些数据的可编程能力和快速灵活的查询功能。

㈨ 数据库数据恢复的数据存储及恢复的基本原理

数据存储及恢复第一步--分区.当主引导记录因为各种原因（硬盘坏道、病毒、误操作等）被破坏后，一些或全部分区自然就会丢失不见了，根据数据信息特征，我们可以重新推算计算分区大小及位置，手工标注到分区信息表，“丢失”的分区回来了。
数据存储及恢复第二步--文件分配表.硬盘分区完毕后，接下来的工作是格式化分区。格式化程序根据分区大小，合理的将分区划分为目录文件分配区和数据区，文件分配表内记录着每一个文件的属性、大小、在数据区的位置。我们对所有文件的操作，都是根据文件分配表来进行的。文件分配表遭到破坏以后，系统无法定位到文件，虽然每个文件的真实内容还存放在数据区，系统仍然会认为文件已经不存在。我们的数据丢失了，就像一本小说的目录被撕掉一样。要想直接去想要的章节，已经不可能了，要想得到想要的内容（恢复数据），只能凭记忆知道具体内容的大约页数，或每页（扇区）寻找你要的内容。我们的数据还可以恢复回来。
数据存储及恢复第三步--格式化与删除.当我们需要删除一个文件时,系统只是在文件分配表内在该文件前面写一个删除标志,表示该文件已被删除,他所占用的空间已被释放, 其他文件可以使用他占用的空间。所以，当我们删除文件又想找回他（数据恢复）时，只需用工具将删除标志去掉，数据被恢复回来了。当然，前提是没有新的文件写入，该文件所占用的空间没有被新内容覆盖。格式化是将所有文件都加上删除标志，或干脆将文件分配表清空，系统将认为硬盘分区上不存在任何内容。格式化操作并没有对数据区做任何操作，目录空了，内容还在，借助数据恢复知识和相应工具，数据仍然能够被恢复回来。
数据存储及恢复第四步--理解覆盖.个文件被标记上删除标志后，他所占用的空间在有新文件写入时，将有可能被新文件占用覆盖写上新内容。这时删除的文件名虽然还在，但他指向数据区的空间内容已经被覆盖改变，恢复出来的将是错误异常内容。同样文件分配表内有删除标记的文件信息所占用的空间也有可能被新文件名文件信息占用覆盖，文件名也将不存在了。
当将一个分区格式化后,有拷贝上新内容,新数据只是覆盖掉分区前部分空间,去掉新内容占用的空间,该分区剩余空间数据区上无序内容仍然有可能被重新组织,将数据恢复出来。
同理，克隆、一键恢复、系统还原等造成的数据丢失，只要新数据占用空间小于破坏前空间容量，数据恢复工程师就有可能恢复你要的分区和数据。
数据存储及恢复第五步--硬件故障数据恢复。硬件故障的数据恢复当然是先诊断，对症下药，先修复相应的硬件故障，然后根据修复其他软故障，最终将数据成功恢复。
数据存储及恢复第六步--磁盘阵列RAID数据恢复.其恢复过程也是先排除硬件及软故障，然后分析阵列顺序、块大小等参数，用阵列卡或阵列软件重组，重组后便可按常规方法恢复数据。
SAN和NAS是目前最受人瞩目的两种数据存储方式：
SAN:一个共用的高速专用存储网络，存储设备集中在服务器的后端。其优势：高数据传输速度；加强存储管理；加强备份、还原能力的可用性；同种服务的综合。综合SAN的优势，它在高性能数据备份/恢复、集中化管理数据及远程数据保护领域得到广泛的应用。
NAS:是一个专用为提供高性能、低拥有成本和高可靠性的数据保存和传送产品。其优势：移除服务器I/O瓶颈；简便实现NT与UNIX下的文件共享；简便的设备安装管理与维护；按需增容，方便容量规划；高可靠性；降低总拥有成本。
更多的数据存储解决方案趋向于将NAS和SAN进行融合。原因：
·一些分散式的应用和用户要求访问相同的数据
· 对提供更高的性能，高可靠性和更低的拥有成本的专有功能系统的高增长要求
·以成熟和习惯的网络标准包括TCP/IP, NFS和CIFS为基础的操作
·一个获得以应用为基础而更具商业竞争力的解决方案欲望
·一个全面降低管理成本和复杂性的需求
·一个不需要增加任何人员的高扩展存储系统
·一套可以通过重构划的系统以维持硬件和管理人员的价值