数据库技术应用与开发

㈠ 数据库技术的应用与发展

数据库技术是现代信息科学与技术的重要组成部分，是计算机数据处理与信息管理系统的核心。数据库技术研究和解决了计算机信息处理过程中大量数据有效地组织和存储的问题，在数据库系统中减少数据存储冗余、实现数据共享、保障数据安全以及高效地检索数据和处理数据。

随着计算机技术与网络通信技术的发展，数据库技术已成为信息社会中对大量数据进行组织与管理的重要技术手段及软件技术，是网络信息化管理系统的基础。本章主要介绍数据库技术的应用与发展、关系模型的基本概念、关系数据库的设计理论及数据库设计方法等内容，是学习和掌握现代数据库技术的基础。

1.1 数据库技术的发展与应用
从20世纪60年代末期开始到现在，数据库技术已经发展了30多年。在这30多年的历程中，人们在数据库技术的理论研究和系统开发上都取得了辉煌的成就，而且已经开始对新一代数据库系统的深入研究。数据库系统已经成为现代计算机系统的重要组成部分。

1.1.1 数据库技术与信息技术
信息技术(Information Technology，IT)是当今使用频率最高的名词之一，它随着计算机技术在工业、农业以及日常生活中的广泛应用，已经被越来越多的个人和企业作为自己赶超世界潮流的标志之一。而数据库技术则是信息技术中一个重要的支撑。没有数据库技术，人们在浩瀚的信息世界中将显得手足无措。

数据库技术是计算机科学技术的一个重要分支。从20世纪50年代中期开始，计算机应用从科学研究部门扩展到企业管理及政府行政部门，人们对数据处理的要求也越来越高。1968年，世界上诞生了第一个商品化的信息管理系统IMS(Information Management System)，从此，数据库技术得到了迅猛发展。在互联网日益被人们接受的今天，Internet又使数据库技术、知识、技能的重要性得到了充分的放大。现在数据库已经成为信息管理、办公自动化、计算机辅助设计等应用的主要软件工具之一，帮助人们处理各种各样的信息数据。

1.1.2 数据库技术的应用及特点
数据库最初是在大公司或大机构中用作大规模事务处理的基础。后来随着个人计算机的普及，数据库技术被移植到PC机(Personal Computer，个人计算机)上，供单用户个人数据库应用。接着，由于PC机在工作组内连成网，数据库技术就移植到工作组级。现在，数据库正在Internet和内联网中广泛使用。

20世纪60年代中期，数据库技术是用来解决文件处理系统问题的。当时的数据库处理技术还很脆弱，常常发生应用不能提交的情况。20世纪70年代关系模型的诞生为数据库专家提供了构造和处理数据库的标准方法，推动了关系数据库的发展和应用。1979年，Ashton-Tate公司引入了微机产品dBase Ⅱ，并称之为关系数据库管理系统，从此数据库技术移植到了个人计算机上。20世纪80年代中期到后期，终端用户开始使用局域网技术将独立的计算机连接成网络，终端之间共享数据库，形成了一种新型的多用户数据处理，称为客户机/服务器数据库结构。现在，数据库技术正在被用来同Internet技术相结合，以便在机构内联网、部门局域网甚至WWW上发布数据库数据。

1.1.3 数据库技术发展历史
数据模型是数据库技术的核心和基础，因此，对数据库系统发展阶段的划分应该以数据模型的发展演变作为主要依据和标志。按照数据模型的发展演变过程，数据库技术从开始到现在短短的30年中，主要经历了三个发展阶段：第一代是网状和层次数据库系统，第二代是关系数据库系统，第三代是以面向对象数据模型为主要特征的数据库系统。数据库技术与网络通信技术、人工智能技术、面向对象程序设计技术、并行计算技术等相互渗透、有机结合，成为当代数据库技术发展的重要特征。

1. 第一代数据库系统
第一代数据库系统是20世纪70年代研制的层次和网状数据库系统。层次数据库系统的典型代表是1969年IBM公司研制出的层次模型的数据库管理系统IMS。20世纪60年代末70年代初，美国数据库系统语言协会CODASYL(Conference on Data System Language)下属的数据库任务组DBTG(Data Base Task Group)提出了若干报告，被称为DBTG报告。DBTG报告确定并建立了网状数据库系统的许多概念、方法和技术，是网状数据库的典型代表。在DBTG思想和方法的指引下数据库系统的实现技术不断成熟，开发了许多商品化的数据库系统，它们都是基于层次模型和网状模型的。

可以说，层次数据库是数据库系统的先驱，而网状数据库则是数据库概念、方法、技术的奠基者。

2. 第二代数据库系统
第二代数据库系统是关系数据库系统。1970年IBM公司的San Jose研究试验室的研究员Edgar F. Codd发表了题为《大型共享数据库数据的关系模型》的论文，提出了关系数据模型，开创了关系数据库方法和关系数据库理论，为关系数据库技术奠定了理论基础。Edgar F. Codd于1981年被授予ACM图灵奖，以表彰他在关系数据库研究方面的杰出贡献。

20世纪70年代是关系数据库理论研究和原型开发的时代，其中以IBM公司的San Jose研究试验室开发的System R和Berkeley大学研制的Ingres为典型代表。大量的理论成果和实践经验终于使关系数据库从实验室走向了社会，因此，人们把20世纪70年代称为数据库时代。20世纪80年代几乎所有新开发的系统均是关系型的，其中涌现出了许多性能优良的商品化关系数据库管理系统，如DB2、Ingres、Oracle、Informix、Sybase等。这些商用数据库系统的应用使数据库技术日益广泛地应用到企业管理、情报检索、辅助决策等方面，成为实现和优化信息系统的基本技术。

3. 第三代数据库系统
从20世纪80年代以来，数据库技术在商业上的巨大成功刺激了其他领域对数据库技术需求的迅速增长。这些新的领域为数据库应用开辟了新的天地，并在应用中提出了一些新的数据管理的需求，推动了数据库技术的研究与发展。

1990年高级DBMS功能委员会发表了《第三代数据库系统宣言》，提出了第三代数据库管理系统应具有的三个基本特征：

l 应支持数据管理、对象管理和知识管理。

l 必须保持或继承第二代数据库系统的技术。

l 必须对其他系统开放。

面向对象数据模型是第三代数据库系统的主要特征之一；数据库技术与多学科技术的有机结合也是第三代数据库技术的一个重要特征。分布式数据库、并行数据库、工程数据库、演绎数据库、知识库、多媒体库、模糊数据库等都是这方面的实例。

1.1.4 数据库系统访问技术
目前访问数据库服务器的主流标准接口主要有ODBC、OLE DB和ADO。下面分别对这三种接口进行概要介绍。

1. 开放数据库连接(ODBC)
开放数据库连接(Open Database Connectivity，ODBC)是由Microsoft公司定义的一种数据库访问标准。使用ODBC应用程序不仅可以访问存储在本地计算机的桌面型数据库中的数据，而且可以访问异构平台上的数据库，例如可以访问SQL Server、Oracle、Informix或DB2构建的数据库等。

ODBC是一种重要的访问数据库的应用程序编程接口(Application Programming Interface，API)，基于标准的SQL语句，它的核心就是SQL语句，因此，为了通过ODBC访问数据库服务器，数据库服务器必须支持SQL语句。

ODBC通过一组标准的函数(ODBC API)调用来实现数据库的访问，但是程序员不必理解这些ODBC，API就可以轻松开发基于ODBC的客户机/服务器应用程序。这是因为在很多流行的程序开发语言中，如Visual Basic、PowerBuilder、Visual C++等，都提供了封装ODBC各种标准函数的代码层，开发人员可以直接使用这些标准函数。

ODBC获得了巨大成功并大大简化了一些数据库开发工作。但是它也存在严重的不足，因此Microsoft公司又开发了OLE DB。

2. OLE DB
OLE DB是Microsoft公司提供的关于数据库系统级程序的接口(System-Level Programming Interface)，是Microsoft公司数据库访问的基础。OLE DB实际上是Microsoft公司OLE对象标准的一个实现。OLE DB对象本身是COM(组件对象模型)对象并支持这种对象的所有必需的接口。

一般说来，OLE DB提供了两种访问数据库的方法：一种是通过ODBC驱动器访问支持SQL语言的数据库服务器；另一种是直接通过原始的OLE DB提供程序。因为ODBC只适用于支持SQL语言的数据库，因此ODBC的使用范围过于狭窄，目前Microsoft公司正在逐步用OLE DB来取代ODBC。

因为OLE DB是一个面向对象的接口，特别适合于面向对象语言。然而，许多数据库应用开发者使用VBScript和JScript等脚本语言开发程序，所以Microsoft公司在OLE DB对象的基础上定义了ADO。

3. 动态数据对象(ADO)
动态数据对象(Active Data Objects，ADO)是一种简单的对象模型，可以被开发者用来处理任何OLE DB数据，可以由脚本语言或高级语言调用。ADO对数据库提供了应用程序水平级的接口(Application-Level Programming Interface)，几乎使用任何语言的程序员都能够通过使用ADO来使用OLE DB的功能。Microsoft公司声称，ADO将替换其他的数据访问方式，所以ADO对于任何使用Microsoft公司产品的数据库应用是至关重要的。

1.1.5 网络数据库系统编程技术
在当今网络盛行的年代，数据库与Web技术的结合正在深刻改变着网络应用。有了数据库的支持，扩展网页功能、设计交互式页面、构造功能强大的后台管理系统、更新网站和维护网站都将变得轻而易举。随着网络应用的深入，Web数据库技术将日益显示出其重要地位。在这里简单介绍一下Web数据库开发的相关技术。

1. 通用网关接口(CGI)编程
通用网关接口(Common Gateway Interface，CGI)是一种通信标准，它的任务是接受客户端的请求，经过辨认和处理，生成HTML文档并重新传回到客户端。这种交流过程的编程就叫做CGI编程。CGI可以运行在多种平台上，具有强大的功能，可以使用多种语言编程，如Visual Basic、Visual C++、Tcl、Perl、AppletScript等，比较常见的是用Perl语言编写的CGI程序。但是CGI也有其致命的弱点，即速度慢和安全性差等。

2. 动态服务器页面(ASP)
动态服务器页面(Active Server Pages，ASP)是Microsoft公司推出的一种用以取代CGI的技术，是一种真正简便易学、功能强大的服务器编程技术。ASP实际上是Microsoft公司开发的一套服务器端脚本运行环境，通过ASP可以建立动态的、交互的、高效的Web服务器应用程序。用ASP编写的程序都在服务器端执行，程序执行完毕后，再将执行的结果返回给客户端浏览器，这样不仅减轻了客户端浏览器的负担，大大提高了交互速度，而且避免了ASP程序源代码的外泄，提高了程序的安全性。

3. Java 服务器页面(JSP)
Java服务器页面(Java Server Pages，JSP)是Sun公司发布的Web应用程序开发技术，一经推出，就受到了人们的广泛关注。JSP技术为创建高度动态的Web应用程序提供了一个独特的开发环境，它能够适用于市场上大多数的服务器产品。

JSP使用Java语言编写服务器端程序，当客户端向服务器发出请求时，JSP源程序被编译成Servlet并由Java虚拟机执行。这种编译操作仅在对JSP页面的第一次请求时发生。因此，JSP程序能够提供更快的交互速度，其安全性和跨平台性也很优秀。

㈡ 简述数据库应用系统开发的一般过程

数据库应用系统的开发是一项软件工程。一般可分为以下几个阶段：1.规划2.需求分析3.概念模型设计4.逻辑设计5.物理设计6.程序编制及调试7.运行及维护。这些阶段的划分目前尚无统一的标准，各阶段间相互联接，而且常常需要回溯修正。在数据库应用系统的开发过程中，每个阶段的工作成果就是写出相应的文档。每个阶段都是在上一阶段工作成果的基础上继续进行，整个开发工程是有依据、有组织、有计划、有条不紊地展开工作。1.规划规划的主要任务就是作必要性及可行性分析。在收集整理有关资料的基础上，要确定将建立的数据库应用系统老早与周边的关系，要对应用系统定位，其规模的大小、所处的地位、应起的作用均须作全面的分析和论证。明确应用系统的基本功能，划分数据库支持的范围。分析数据来源、数据采集的方式和范围，研究数据结构的特点，估算数据量的大小，确立数据处理的基本要求和业务的规范标准。规划人力资源调配。对参与研制和以后维护系统运作的管理人员、技术人员的技术业务水平提出要求，对最终用户、操作员的素质作出评估。拟定设备配置方案。论证计算机、网络和其他设备在时间、空间两方面的处理能力，要有足够的内外存容量，系统的响应速度、网络传输和输入输出能力应满足应用需求并留有余量。要选择合适的os,dbms和其它软件。设备配置方案要在使用要求、系统性能、购置成本和维护代价各方面综合权衡。对系统的开发、运行、维护的成本作出估算。预测系统效益的期望值。拟定开发进度计划，还要对现行工作模式如何向新系统过渡作出具体安排。规划阶段的工作成果是写出详尽的可行性分析报告和数据库应用系统规划书。内容应包括：系统的定位及其功能、数据资源及数据处理能力、人力资源调配、设备配置方案、开发成本估算、开发进度计划等。可行性分析报告和数据库应用系统规划书经审定立项后，成为后续开发工作的总纲。数据库应用系统的开发是一项软件工程,本文介绍了数据库应用系统的开发步骤2.需求分析需求分析大致可分成三步来完成。(1)需求信息的收集,需求信息的收集一般以机构设置和业务活动为主干线，从高层中层到低层逐步展开(2)需求信息的分析整理,对收集到的信息要做分析整理工作。数据流图(dfd,dataflowdiagram)是业务流程及业务中数据联系的形式描述。图4.1是一个简单的dfd示例。数据字典(dd,datadictionary)详细描述系统中的全部数据。数据字典包含以下几个部分。·数据项：是数据的原子单位。·数据组项：由若干数据项组成。·数据流：表示某一数据加工过程的输入/输出数据。·数据存储：是处理过程中要存取的数据。·数据加工过程数据加工过程的描述包括：数据加工过程名、说明、输入、输出、加工处理工作摘要、加工处理频度、加工处理的数据量、响应时间要求等。数据流图既是需求分析的工具，也是需求分析的成果之一。数据字典是进行数据收集和数据分析的主要成果。(3)需求信息的评审.开发过程中的每一个阶段都要经过评审，确认任务是否全部完成，避免或纠正工作中出现的错误和疏漏。聘请项目外的专家参与评审，可保证评审的质量和客观性。评审可能导致开发过程回溯，甚至会反复多次。但是，一定要使全部的预期目标都达到才能让需求分析阶段的工作暂告一个段落.需求分析阶段的工作成果是写出一份既切合实际又具有预见的需求说明书，并且附以一整套详尽的数据流图和数据字典。3.概念模型设计概念模型不依赖于具体的计算机系统，他是纯粹反映信息需求的概念结构。建模是在需求分析结果的基础上展开，常常要对数据进行抽象处理。常用的数据抽象方法是‘聚集’和‘概括’。er方法是设计概念模型时常用的方法。用设计好的er图再附以相应的说明书可作为阶段成果概念模型设计可分三步完成。(1)设计局部概念模型①确定局部概念模型的范围②定义实体③定义联系④确定属性⑤逐一画出所有游含键的局部er图，并附以相应的说明文件数据库应用系统的开发是一项软件工程,本文介绍了数据库应用系统的开发步骤(2)设计全局概念模型建立全局er图的步骤如下：①确定公共实体类型②合并局部er图③消除不一致因素④优化全局er图⑤画出全局er图，并附以相应的说明文件。(3)概念模型的评审概念模型的评审分两部分进行第一部分是用户评审。第二部分是开发人员评审。4.逻辑设计逻辑设计阶段的主要目标是把概念模型转神巧换为具体计算机上dbms所支持的结构数据模型。逻辑设计的输入要素包括：概念模式、用户需求、约束条件、选用的dbms的特性。逻辑设计的输出信息包括：dbms可处理的模式和子模式、应用程序设计指南、物理设计指南。(1)设计模式与子模式关系数据库的模式设计可分四步完成。①建立初始关系模式②规范化处理③模式评价④修正模式经过多次的模式评价和模式修正，确定最终的模式和子模式。写出逻辑数据库结构说明书。数据库应用系统的开发是一项软件工程,本文介绍了数据库应用系统的开发步骤(2)编写应用程序设计指南根据设计好的模式和应用需求，规划应用程序的架构，设计应用程序的草图，指定每个应用程序的数据存取功能和数据处理功能梗概，提供程序上的逻辑接口。编写出应用程序设计指南。(3)编写物理设计指南。根据设计好的模式和应用需求，整理出物理设计阶段所需的一些重要数据和文档。例如，数据库的数据容量、各个关系(文件)的数据容量、应用处理频率、操作顺序、响应速度、各个应用的lra和tv、程序访问路径建议，等等。这些数据和要求将直接用于物理数据库的设计。编写出物理设计指南。5.物理设计物理设计是对给定的逻辑数据模型配置一个最适合应用环境的物理结构。物理设计的输入要素包括：模式和子模式、物理设计指南、硬件特性、os和dbms的约束、运行要求等。物理设计的输出信息主要是物理数据库结构说明书。其内容包括物理数据库结构、存储记录格式、存储记录位置分配及访问方法等。物理设计的步骤如下：(1)存储记录结构设计综合分析数据存储要求和应用需求，设计存储记录格式。(2)存储空间分配存储空间分配有两个原则：①存取频度高的数据尽量安排在快速、随机设备上，存取频度低的数据则安排在速度较慢的设备上。②相互依赖性强的数据尽量存储在同一台设备上，且尽量安排在邻近的存储空间上。从提高系统性能方面考虑，应将设计好的存储记录作为一个整体合理地分配物理存储区域。尽可能充分利用物理顺序特点，把不同类型的存储记录指派到不同的物理群中。(3)访问方法的设计一个访问方法包括存储结构和检索机构两部分。存储结构限定了访问存储记录时可以使用的访问路径;检索机构定义了每个应用实际使用的访问路径。数据库应用系统的开发是一项软件工程,本文介绍了数据库应用系统的开发步骤(4)物理设计的性能评价①查询响应时间从查询开始到有结果显示之间所经历的时间称为查询响应时间。查询响应时间可进一步细分为服务时间、等待时间和延迟时间。在物理设计过程中，要对系统的性能进行评价。性能评价包括时间、空间、效率、开销等各个方面。⊙cpu服务时间和i/o服务时间的长短取决于应用程序设计。⊙cpu队列等待时间和i/o队列等待时间的长短受计算机系统作业的影响。⊙设计者可以有限度地控制分布式数据库系统的通信延迟时间。②存储空间存储空间存放程序和数据。程序包括运行的应用程序、dbms子程序、os子程序等。数据包括用户工作区、dbms工作区、os工作区、索引缓冲区、数据缓冲区等。存储空间分为主存空间和辅存空间。设计者只能有限度地控制主存空间，例如可指定缓冲区的分配等。但设计者能够有效地控制辅存空间。③开销与效率设计中还要考虑以下各种开销，开销增大，系统效率将下降。⊙事务开销指从事务开始到事务结束所耗用的时间。更新事务要修改索引、重写物理块、进行写校验等操作，增加了额外的开销。更新频度应列为设计的考虑因素。⊙报告生成开销指从数据输入到有结果输出这段时间。报告生成占用cpu及i/o的服务时间较长。设计中要进行筛选，除去不必要的报告生成。⊙对数据库的重组也是一项大的开销。设计中应考虑数据量和处理频度这两个因数，做到避免或尽量减少重组数据库。在物理设计阶段，设计、评价、修改这个过程可能要反复多次，最终得到较为完善的物理数据库结构说明书。建立数据库时，dba依据物理数据库结构说明书，使用dbms提供的工具可以进行数据库配置。在数据库运行时，dba监察数据库的各项性能，根据依据物理数据库结构说明书的准则，及时进行修正和优化操作，保证数据库系统能够保持高效率地运行。6.程序编制及调试在逻辑数据库结构确定以后，应用程序设计的编制就可以和物理设计并行地展开程序模块代码通常先在模拟的环境下通过初步调试，然后再进行联合调试。联合调试的工作主要有以下几点：数据库应用系统的开发是一项软件工程,本文介绍了数据库应用系统的开发步骤(1)建立数据库结构根据逻辑设计和物理设计的结果，用dbms提供的数据语言(ddl)编写出数据库的源模式，经编译得到目标模式，执行目标模式即可建立实际的数据库结构。(2)调试运行数据库结构建立后，装入试验数据，使数据库进入调试运行阶段。运行应用程序，测试(3)装入实际的初始数据在数据库正式投入运行之前，还要做好以下几项工作：(1)制定数据库重新组织的可行方案。(2)制定故障恢复规范(3)制定系统的安全规范7.运行和维护数据库正式投入运行后，运行维护阶段的主要工作是：(1)维护数据库的安全性与完整性。按照制定的安全规范和故障恢复规范，在系统的安全出现问题时，及时调整授权和更改密码。及时发现系统运行时出现的错误，迅速修改，确保系统正常运行。把数据库的备份和转储作为日常的工作，一旦发生故障，立即使用数据库的最新备份予以恢复。(2)监察系统的性能。运用dbms提供的性能监察与分析工具，不断地监控着系统的运行情况。当数据库的存储空间或响应时间等性能下降时，立即进行分析研究找出原因，并及时采取措施改进。例如，可通修改某些参数、整理碎片、调整存储结构或重新组织数据库等方法，使数据库系统保持高效率地正常运作。(3)扩充系统的功能在维持原有系统功能和性能的基础上，适应环境和需求的变化，采纳用户的合理意见，对原有系统进行扩充，增加新的功能。