rrd数据库
1. 端口对照表
TIP/IP 端口号大全
1 tcpmux TCP 端口服务多路复用
5 rje 远程作业入口
7 echo Echo 服务
9 discard 用于连接测试的空服务
11 systat 用于列举连接了的端口的系统状态
13 daytime 给请求主机发送日期和时间
17 qotd 给连接了的主机发送每日格言
18 msp 消息发送协议
19 chargen 字符生成服务;发送无止境的字符流
20 ftp-data FTP 数据端口
21 ftp 文件传输协议(FTP)端口;有时被文件服务协议(FSP)使用
22 ssh 安全 Shell(SSH)服务
23 telnet Telnet 服务
25 smtp 简单邮件传输协议(SMTP)
37 time 时间协议
39 rlp 资源定位协议
42 nameserver 互联网名称服务
43 nicname WHOIS 目录服务
49 tacacs 用于基于 TCP/IP 验证和访问的终端访问控制器访问控制系统
50 re-mail-ck 远程邮件检查协议
53 domain 域名服务(如 BIND)
63 whois++ WHOIS++,被扩展了的 WHOIS 服务
67 bootps 引导协议(BOOTP)服务;还被动态主机配置协议(DHCP)服务使用
68 bootpc Bootstrap(BOOTP)客户;还被动态主机配置协议(DHCP)客户使用
69 tftp 小文件传输协议(TFTP)
70 gopher Gopher 互联网文档搜寻和检索
71 netrjs-1 远程作业服务
72 netrjs-2 远程作业服务
73 netrjs-3 远程作业服务
73 netrjs-4 远程作业服务
79 finger 用于用户联系信息的 Finger 服务
80 http 用于万维网(WWW)服务的超文本传输协议(HTTP)
88 kerberos Kerberos 网络验证系统
95 supp Telnet 协议扩展
101 hostname SRI-NIC 机器上的主机名服务
102 iso-tsap ISO 开发环境(ISODE)网络应用
105 csnet-ns 邮箱名称服务器;也被 CSO 名称服务器使用
107 rtelnet 远程 Telnet
109 pop2 邮局协议版本2
110 pop3 邮局协议版本3
111 sunrpc 用于远程命令执行的远程过程调用(RPC)协议,被网络文件系统(NFS)使用
113 auth 验证和身份识别协议
115 sftp 安全文件传输协议(SFTP)服务
117 uucp-path Unix 到 Unix 复制协议(UUCP)路径服务
119 nntp 用于 USENET 讨论系统的网络新闻传输协议(NNTP)
123 ntp 网络时间协议(NTP)
137 netbios-ns 在红帽企业 linux 中被 Samba 使用的 NETBIOS 名称服务
138 netbios-dgm 在红帽企业 Linux 中被 Samba 使用的 NETBIOS 数据报服务
139 netbios-ssn 在红帽企业 Linux 中被 Samba 使用的NET BIOS 会话服务
143 imap 互联网消息存取协议(IMAP)
161 snmp 简单网络管理协议(SNMP)
162 snmptrap SNMP 的陷阱
163 cmip-man 通用管理信息协议(CMIP)
164 cmip-agent 通用管理信息协议(CMIP)
174 mailq MAILQ
177 xdmcp X 显示管理器控制协议
178 nextstep NeXTStep 窗口服务器
179 bgp 边界网络协议
191 prospero Cliffod Neuman 的 Prospero 服务
194 irc 互联网中继聊天(IRC)
199 smux SNMP UNIX 多路复用
201 at-rtmp AppleTalk 选路
202 at-nbp AppleTalk 名称绑定
204 at-echo AppleTalk echo 服务
206 at-zis AppleTalk 区块信息
209 qmtp 快速邮件传输协议(QMTP)
210 z39.50 NISO Z39.50 数据库
213 ipx 互联网络分组交换协议(IPX),被 Novell Netware 环境常用的数据报协议
220 imap3 互联网消息存取协议版本3
245 link LINK
347 fatserv Fatmen 服务器
363 rsvp_tunnel RSVP 隧道
369 rpc2portmap Coda 文件系统端口映射器
370 codaauth2 Coda 文件系统验证服务
372 ulistproc UNIX Listserv
389 ldap 轻型目录存取协议(LDAP)
427 svrloc 服务位置协议(SLP)
434 mobileip-agent 可移互联网协议(IP)代理
435 mobilip-mn 可移互联网协议(IP)管理器
443 https 安全超文本传输协议(HTTP)
444 snpp 小型网络分页协议
445 microsoft-ds 通过 TCP/IP 的服务器消息块(SMB)
464 kpasswd Kerberos 口令和钥匙改换服务
468 photuris Photuris 会话钥匙管理协议
487 saft 简单不对称文件传输(SAFT)协议
488 gss-http 用于 HTTP 的通用安全服务(GSS)
496 pim-rp-disc 用于协议独立的多址传播(PIM)服务的会合点发现(RP-DISC)
500 isakmp 互联网安全关联和钥匙管理协议(ISAKMP)
535 iiop 互联网内部对象请求代理协议(IIOP)
538 gdomap GNUstep 分布式对象映射器(GDOMAP)
546 dhcpv6-client 动态主机配置协议(DHCP)版本6客户
547 dhcpv6-server 动态主机配置协议(DHCP)版本6服务
554 rtsp 实时流播协议(RTSP)
563 nntps 通过安全套接字层的网络新闻传输协议(NNTPS)
565 whoami whoami
587 submission 邮件消息提交代理(MSA)
610 npmp-local 网络外设管理协议(NPMP)本地 / 分布式排队系统(DQS)
611 npmp-gui 网络外设管理协议(NPMP)GUI / 分布式排队系统(DQS)
612 hmmp-ind HMMP 指示 / DQS
631 ipp 互联网打印协议(IPP)
636 ldaps 通过安全套接字层的轻型目录访问协议(LDAPS)
674 acap 应用程序配置存取协议(ACAP)
694 ha-cluster 用于带有高可用性的群集的心跳服务
749 kerberos-adm Kerberos 版本5(v5)的“kadmin”数据库管理
750 kerberos-iv Kerberos 版本4(v4)服务
765 webster 网络词典
767 phonebook 网络电话簿
873 rsync rsync 文件传输服务
992 telnets 通过安全套接字层的 Telnet(TelnetS)
993 imaps 通过安全套接字层的互联网消息存取协议(IMAPS)
994 ircs 通过安全套接字层的互联网中继聊天(IRCS)
995 pop3s 通过安全套接字层的邮局协议版本3(POPS3)
表 C-1. 着名端口
以下端口是 UNIX 特有的,涉及了从电子邮件到验证不等的服务。在方括号内的名称(如 [service])是服务的守护进程名称或它的常用别名。
端口号码 / 层 名称 注释
512/tcp exec 用于对远程执行的进程进行验证
512/udp biff [comsat] 异步邮件客户(biff)和服务(comsat)
513/tcp login 远程登录(rlogin)
513/udp who [whod] 登录的用户列表
514/tcp shell [cmd] 不必登录的远程 shell(rshell)和远程复制(rcp)
514/udp syslog UNIX 系统日志服务
515 printer [spooler] 打印机(lpr)假脱机
517/udp talk 远程对话服务和客户
518/udp ntalk 网络交谈(ntalk),远程对话服务和客户
519 utime [unixtime] UNIX 时间协议(utime)
520/tcp efs 扩展文件名服务器(EFS)
520/udp router [route, routed] 选路信息协议(RIP)
521 ripng 用于互联网协议版本6(IPv6)的选路信息协议
525 timed [timeserver] 时间守护进程(timed)
526/tcp tempo [newdate] Tempo
530/tcp courier [rpc] Courier 远程过程调用(RPC)协议
531/tcp conference [chat] 互联网中继聊天
532 netnews Netnews
533/udp netwall 用于紧急广播的 Netwall
540/tcp uucp [uucpd] Unix 到 Unix 复制服务
543/tcp klogin Kerberos 版本5(v5)远程登录
544/tcp kshell Kerberos 版本5(v5)远程 shell
548 afpovertcp 通过传输控制协议(TCP)的 Appletalk 文件编制协议(AFP)
556 remotefs [rfs_server, rfs] Brunhoff 的远程文件系统(RFS)
表 C-2. UNIX 特有的端口
表 C-3列举了由网络和软件社区向 IANA 提交的要在端口号码列表中正式注册的端口。
端口号码 / 层 名称 注释
1080 socks SOCKS 网络应用程序代理服务
1236 bvcontrol [rmtcfg] Garcilis Packeten 远程配置服务器[a]
1300 h323hostcallsc H.323 电话会议主机电话安全
1433 ms-sql-s Microsoft SQL 服务器
1434 ms-sql-m Microsoft SQL 监视器
1494 ica Citrix ICA 客户
1512 wins Microsoft Windows 互联网名称服务器
1524 ingreslock Ingres 数据库管理系统(DBMS)锁定服务
1525 prospero-np 无特权的 Prospero
1645 datametrics [old-radius] Datametrics / 从前的 radius 项目
1646 sa-msg-port [oldradacct] sa-msg-port / 从前的 radacct 项目
1649 kermit Kermit 文件传输和管理服务
1701 l2tp [l2f] 第2层隧道服务(LT2P) / 第2层转发(L2F)
1718 h323gatedisc H.323 电讯守门装置发现机制
1719 h323gatestat H.323 电讯守门装置状态
1720 h323hostcall H.323 电讯主持电话设置
1758 tftp-mcast 小文件 FTP 组播
1759 mtftp 组播小文件 FTP(MTFTP)
1789 hello Hello 路由器通信端口
1812 radius Radius 拨号验证和记帐服务
1813 radius-acct Radius 记帐
1911 mtp Starlight 网络多媒体传输协议(MTP)
1985 hsrp Cisco 热备用路由器协议
1986 licensedaemon Cisco 许可管理守护进程
1997 gdp-port Cisco 网关发现协议(GDP)
2049 nfs [nfsd] 网络文件系统(NFS)
2102 zephyr-srv Zephyr 通知传输和发送服务器
2103 zephyr-clt Zephyr serv-hm 连接
2104 zephyr-hm Zephyr 主机管理器
2401 cvspserver 并行版本系统(CVS)客户 / 服务器操作
2430/tcp venus 用于 Coda 文件系统(codacon 端口)的 Venus 缓存管理器
2430/udp venus 用于 Coda 文件系统(callback/wbc interface 界面)的 Venus 缓存管理器
2431/tcp venus-se Venus 传输控制协议(TCP)的副作用
2431/udp venus-se Venus 用户数据报协议(UDP)的副作用
2432/udp codasrv Coda 文件系统服务器端口
2433/tcp codasrv-se Coda 文件系统 TCP 副作用
2433/udp codasrv-se Coda 文件系统 UDP SFTP 副作用
2600 hpstgmgr [zebrasrv] HPSTGMGR;Zebra 选路
2601 discp-client [zebra] discp 客户;Zebra 集成的 shell
2602 discp-server [ripd] discp 服务器;选路信息协议守护进程(ripd)
2603 servicemeter [ripngd] 服务计量;用于 IPv6 的 RIP 守护进程
2604 nsc-ccs [ospfd] NSC CCS;开放式短路径优先守护进程(ospfd)
2605 nsc-posa NSC POSA;边界网络协议守护进程(bgpd)
2606 netmon [ospf6d] Dell Netmon;用于 IPv6 的 OSPF 守护进程(ospf6d)
2809 corbaloc 公共对象请求代理体系(CORBA)命名服务定位器
3130 icpv2 互联网缓存协议版本2(v2);被 Squid 代理缓存服务器使用
3306 mysql MySQL 数据库服务
3346 trnsprntproxy Trnsprnt 代理
4011 pxe 执行前环境(PXE)服务
4321 rwhois 远程 Whois(rwhois)服务
4444 krb524 Kerberos 版本5(v5)到版本4(v4)门票转换器
5002 rfe 无射频以太网(RFE)音频广播系统
5308 cfengine 配置引擎(Cfengine)
5999 cvsup [CVSup] CVSup 文件传输和更新工具
6000 x11 [X] X 窗口系统服务
7000 afs3-fileserver Andrew 文件系统(AFS)文件服务器
7001 afs3-callback 用于给缓存管理器回电的 AFS 端口
7002 afs3-prserver AFS 用户和组群数据库
7003 afs3-vlserver AFS 文件卷位置数据库
7004 afs3-kaserver AFS Kerberos 验证服务
7005 afs3-volser AFS 文件卷管理服务器
7006 afs3-errors AFS 错误解释服务
7007 afs3-bos AFS 基本监查进程
7008 afs3-update AFS 服务器到服务器更新器
7009 afs3-rmtsys AFS 远程缓存管理器服务
9876 sd 会话指引器
10080 amanda 高级 Maryland 自动网络磁盘归档器(Amanda)备份服务
11371 pgpkeyserver 良好隐私(PGP) / GNU 隐私卫士(GPG)公钥服务器
11720 h323callsigalt H.323 调用信号交替
13720 bprd Veritas NetBackup 请求守护进程(bprd)
13721 bpdbm Veritas NetBackup 数据库管理器(bpdbm)
13722 bpjava-msvc Veritas NetBackup Java / Microsoft Visual C++ (MSVC) 协议
13724 vnetd Veritas 网络工具
13782 bpcd Vertias NetBackup
13783 vopied Veritas VOPIED 协议
22273 wnn6 [wnn4] 假名/汉字转换系统[c]
26000 quake Quake(以及相关的)多人游戏服务器
26208 wnn6-ds
33434 traceroute Traceroute 网络跟踪工具
注:
a. /etc/services 中的注释如下:端口1236被注册为“bvcontrol”,但是它也被 Gracilis Packeten 远程配置服务器使用。正式名称被列为主要名称,未注册的名称被列为别名。
b. 在 /etc/services 中的注释:端口 2600 到 2606 被 zebra 软件包未经注册而使用。主要名称是被注册的名称,被 zebra 使用的未注册名称被列为别名。
c. /etc/services 文件中的注释:该端口被注册为 wnn6,但是还在 FreeWnn 软件包中使用了未注册的“wnn4”。
表 C-3. 注册的端口
表 C-4显示了一个和数据报传递协议(DDP)有关的端口列表。DDP 在 AppleTalk 网络上被使用。
端口号码 / 层 名称 注释
1/ddp rtmp 路由表管理协议
2/ddp nbp 名称绑定协议
4/ddp echo AppleTalk Echo 协议
6/ddp zip 区块信息协议
表 C-4. 数据报传递协议端口
表 C-5是和 Kerberos 网络验证协议相关的端口列表。在标记的地方,v5 代表 Kerberos 版本5协议。注意,这些端口没有在 IANA 注册。
端口号码 / 层 名称 注释
751 kerberos_master Kerberos 验证
752 passwd_server Kerberos 口令(kpasswd)服务器
754 krb5_prop Kerberos v5 从属传播
760 krbupdate [kreg] Kerberos 注册
1109 kpop Kerberos 邮局协议(KPOP)
2053 knetd Kerberos 多路分用器
2105 eklogin Kerberos v5 加密的远程登录(rlogin)
表 C-5. Kerberos(工程 Athena/MIT)端口
表 C-6是一个未注册的端口列表。这些端口可能被安装在你的红帽企业 Linux 系统上的服务或协议使用,或者它们是在红帽企业 Linux 和运行其它操作系统的机器通信所必需的端口。
端口号码 / 层 名称 注释
15/tcp netstat 网络状态(netstat)
98/tcp linuxconf Linuxconf Linux 管理工具
106 poppassd 邮局协议口令改变守护进程(POPPASSD)
465/tcp smtps 通过安全套接字层的简单邮件传输协议(SMTPS)
616/tcp gii 使用网关的(选路守护进程)互动界面
808 omirr [omirrd] 联机镜像(Omirr)文件镜像服务
871/tcp supfileserv 软件升级协议(SUP)服务器
901/tcp swat Samba 万维网管理工具(SWAT)
953 rndc Berkeley 互联网名称域版本9(BIND 9)远程名称守护进程配置工具
1127 sufiledbg 软件升级协议(SUP)调试
1178/tcp skkserv 简单假名到汉字(SKK)日文输入服务器
1313/tcp xtel 法国 Minitel 文本信息系统
1529/tcp support [prmsd, gnatsd] GNATS 错误跟踪系统
2003/tcp cfinger GNU Finger 服务
2150 ninstall 网络安装服务
2988 afbackup afbackup 客户-服务器备份系统
3128/tcp squid Squid 万维网代理缓存
3455 prsvp RSVP 端口
5432 postgres PostgreSQL 数据库
4557/tcp fax FAX 传输服务(旧服务)
4559/tcp hylafax HylaFAX 客户-服务器协议(新服务)
5232 sgi-dgl SGI 分布式图形库
5354 noclog NOCOL 网络操作中心记录守护进程(noclogd)
5355 hostmon NOCOL 网络操作中心主机监视
5680/tcp canna Canna 日文字符输入界面
6010/tcp x11-ssh-offset 安全 Shell(SSH)X11 转发偏移
6667 ircd 互联网中继聊天守护进程(ircd)
7100/tcp xfs X 字体服务器(XFS)
7666/tcp tircproxy Tircproxy IRC 代理服务
8008 http-alt 超文本传输协议(HTTP)的另一选择
8080 webcache 万维网(WWW)缓存服务
8081 tproxy 透明代理
9100/tcp jetdirect [laserjet, hplj] Hewlett-Packard (HP) JetDirect 网络打印服务
9359 mandelspawn [mandelbrot] 用于 X 窗口系统的并行 Mandelbrot 生成程序
10081 kamanda 使用 Kerberos 的 Amanda 备份服务
10082/tcp amandaidx Amanda 备份服务
10083/tcp amidxtape Amanda 备份服务
20011 isdnlog 综合业务数字网(ISDN)登录系统
20012 vboxd ISDN 音箱守护进程(vboxd)
22305/tcp wnn4_Kr kWnn 韩文输入系统
22289/tcp wnn4_Cn cWnn 中文输入系统
22321/tcp wnn4_Tw tWnn 中文输入系统(台湾)
24554 binkp Binkley TCP/IP Fidonet 邮寄程序守护进程
27374 asp 地址搜索协议
60177 tfido Ifmail FidoNet 兼容邮寄服务
60179 fido FidoNet 电子邮件和新闻网络
2. 数据库物理模型
数据库物理模型设计的目标是根据选定的Oracle数据库系统特点和航空物探数据管理与服务的业务处理需求,确定航空物探数据库最优的物理环境、存取方法和存储结构。即通过数据库物理设计,以便达到物理数据库结构的优化,使得在数据库上运行的各种事务响应时间少、存储空间利用率高、事务吞吐率大。
一、数据库布局
航空物探信息系统的维护数据(部门、岗位、人员、人员权限、数据入库检查规则及数据字典等)相对比较稳定。入库前数据需经过各种检查校对,确认数据正确后才能归档,存入航空物探资料数据库,所以存入资料库前的数据可能经常需要修改和删除,相对变化较大;而存入资料数据库中的数据一般不允许修改和删除,以免误操作破坏资料库数据造成损失。
图2-12 航空物探数据库逻辑模型
图2-13 航空物探数据库布局与数据采集流程图
据此,我们采用图2-13所示的数据库数据采集流程,并将航空物探数据库分为资料采集数据库、资料数据库、系统维护数据库分别进行存储和管理,实现数据的统一管理和统一使用,便于数据入库和易于维护等。
航空物探资料数据库是航空物探所有数据最终存储的场所。资料采集数据库是数据归档存入资料数据库前的临时“集散地”,在此接收各项检查,在确认数据无误后归档到资料数据库,然后删除资料采集数据库中已归档的数据。此外,资料采集数据库中还保存数据入库、维护、检查日志及归档记录。
系统维护数据库,存储系统维护信息(如系统功能、数据库表清单等)、安全信息(如信息系统用户的角色、权限、授权的系统功能等),数据字典、入库数据检查规则等。将其与航空物探数据分开,有利于系统维护和管理。
二、数据库空间设置
数据库空间设置包括磁盘空间设置、应用系统表空间设置、撤销表空间、临时表空间、日志空间和索引空间设置。
(一)磁盘空间设置
磁盘空间设置的目标:磁盘性能不能阻碍实现数据库性能,数据库磁盘必须专用于数据库文件,否则非数据库将会影响到数据库性能,且磁盘空间必须满足恢复和性能的要求。
航空物探数据库服务器为IBM P620小型机,8块硬盘,每块硬盘36GB空间,每块物理磁盘建立一个文件系统。为了提高磁盘的反应时间和寻道时间,提高I/O的存取效率,除了一块硬盘用于UNIX操作系统外,其余7块磁盘分别存放资料采集数据库、系统维护数据库-日志文件,资料数据库及资料数据库的大字段数据、索引、回滚段和数据日志文件。
(二)应用系统表空间设置
信息系统数据采集过程对数据的事务操作比较频繁,经常进行数据插入(新数据入库)、修改(入库数据有误)和删除操作(数据重新导入或归档入库),因此航空物探资料采集数据库所在的表空间会很活跃。为了不影响其他I/O的竞争,同时也可以提高数据入库的操作效率(50多年的历史数据需要集中入库),分配一个磁盘空间(36GB)为采集库的表空间。由于采集数据归档入资料库后被删除,同时进行数据入库的项目也不是很多,虽仍保留所有的采集日志数据,一个磁盘空间也足够使用。
航空物探资料数据库的二维表和Oracle大字段(BLOB)分别存放在不同的物理磁盘(每个磁盘36GB)上,对同时存在有表格数据和大字段数据的数据库表(如航迹线数据)时,可以提高磁盘I/O效率。随着数据入库的项目越来越多,需要增加相应的物理磁盘或磁盘阵列。
系统维护数据库相对稳定,占用磁盘空间约500 M左右。由于系统磁盘有限,把日志文件存放该磁盘中。
(三)撤销表和临时表空间的设置
在Oracle数据库中,撤销的目的是确保事务的回退和恢复。撤销参数有UNDO_MANAGEMENT、UNDO_TABLESPACE和UNDO_RETENTION。
UNDO_MANAGEMENT参数用于数据库中管理撤销数据的方式,航空物探数据库设置为自动模式(auto)。
UNDO_TABLESPACE参数用于指定数据库中保存撤销数据的撤销表空间名称,航空物探数据库撤销表空间名称为UNDO_ARGS_TBSPACE,空间大小设置为20GB,以确保在保留时间内进行恢复。
UNDO_RETENTION参数用于指定已经提交事务的撤销数据在能够覆盖之前应该保留多长时间,本数据库系统设置为60 min。
临时表空间是用以存储大量的排序,与撤销表空间存放在一个物理磁盘上,本数据库系统临时表空间设置为500 M。
(四)日志空间设置
日志的主要功能是记录对数据库已做过的全部操作。在系统出现故障时,如果不能将修改数据永久地写入数据文件,则可利用日志得到该修改,所以不会丢失已有操作结果。
日志文件主要是保护数据库以防止故障。为了防止日志文件本身的故障,航空物探数据库系统分别在一个独立磁盘和系统维护库磁盘中存放日志文件。若系统出现故障,在下次打开数据库时Oracle数据库系统自动用日志文件中的信息来恢复数据库文件。
根据航空物探数据库信息系统同时登录的用户数及使用的功能,将日志文件大小设置为10GB。
(五)索引表空间设置
为了提高航空物探信息系统的查询和统计速度,把所有索引空间与应用表空间完全分开,从而提高I/O存取效率。航空物探索引表空间大小设置为10GB。
聚集是表的一种存储方法,一般每个基本表是单独组织的,但对逻辑上经常在一起查询的表,在物理上也邻近存放,这样可减少数据的搜索时间,提高性能。
当几个关系(表)以聚集方式组织时,是通过公共属性的值为表聚集的依据。航空物探数据库系统是以项目标识(PROJ_ID)建立聚集的,所有涉及项目标识的数据库表直接引用项目标识聚集。航空物探聚集表空间与索引表空间相同。
三、数据库参数设置
在数据库创建前需要对如下数据库参数进行设置,航空物探参数文件名为Initoraargs.ora,各种参数设置如下:
航空物探信息系统建设
四、内存设置
航空物探数据库服务器物理内存为4GB,除部分用于系统开销外,其余全部用于数据库。
Oracle使用共享系统全局区(System Global Area,SGA)内存来管理内存和文件结构,包含DB_block_Buffers、DB_cache_size、Shared_pool_size、Log_Buffer参数。航空物探数据库系统的全局区内存参数设置如下。
DB_block_Buffers参数为SGA中存储区高速缓存的缓冲区数目,每个缓冲区的大小等于参数DB_block_size的大小,DB_block_Buffers=19200(约300 MB)。
Shared_pool_size参数为分配给共享SQL区的字节数,是SGA大小的主要影响者,Shared_pool_size=1228800000(1.2GB)。
DB_cache_size参数是SGA大小和数据库性能的最重要的决定因素。该值较高,可以提高系统的命中率,减少I/O,DB_cache_size=1024000000(1GB)。
Log_Buffer参数为重做日志高速缓存大小,主要进行插入、删除和修改回退操作,Log_buffer=5120000(5MB)。
五、优化设置
由于航空物探信息系统的采集软件和应用软件是采用MS.NET C#进行开发的,应用程序与数据库之间的连接有传统的ODBC和OLE DB两种方式。为了支持ODBC在OLE DB技术上建立了相应的OLE DB到ODBC的调用转换,而使用直接的OLE DB方式则不需转换,从而提高处理速度。
在建立数据库表时,参数Pctfree和Pctused设置不正确可能会导致数据出现行链接和行迁移现象,即同一行的数据被保存在不同的数据块中。在进行数据查询时,为了读出这些数据,磁头必须重新定位,这样势必会大大降低数据库的执行速度。因此,在创建表时应充分估计到将来可能出现的数据变化,正确地设置这两个参数,尽量减少数据库中出现的行链接和行迁移现象。
航空物探资料采集数据库表的插入、修改和删除的频率较高,Pctfree设置为20,Pctused设置为40;系统维护数据库表相对稳定,Pctfree设置为10,Pctused设置为15;资料数据库表除了增加数据外基本不进行修改和删除操作,Pctfree设置为10,Pctused设置为5。
六、扩展性设置
多CPU和并行查询PQO(Parallel Query Option)方式的利用:CPU的快速发展使得Oracle越来越重视对多CPU的并行技术的应用,一个数据库的访问工作可以用多个CPU相互配合来完成。对于多CPU系统尽量采用并行查询选项方式进行数据库操作。航空物探数据库服务器为2个CPU,在程序查询中采用了并行查询的方式。
在航空物探工作量统计、飞行小时统计、测量面积统计和岩石物性统计中,为了加快统计效率,在相应的查询语句中增加了并行查询语句。
随着航空物探高精度测量程度的不断提高,测量数据将越来越大。为了满足航空物探查询效率及发展,将航磁测量数据与校正后航磁测量数据按比例尺分1∶20 万以下、20万~50万、1∶50万以上分别存放3张不同的数据库表。
七、创建数据库
在完成数据库布局、空间设置、内存设置、数据库参数设置、扩展性设置和优化设置后,进行航空物探数据库物理模型设计,即航空物探数据库实体创建。由于航空物探空间数据库逻辑模型是采用ESRI提供的ArcGIS UML构建的Geodatabase模型,因此,使用ESRI公司提供的CaseTools将航空物探数据UML模型图转成空间数据库(Geodatabase)实体(图2-14)。
航空物探属性数据库表(二维表)是采用Power Designer数据库设计平台直接把数据库关系模型生成数据库脚本来创建的。
经过数据库的概念设计、逻辑设计和物理设计,最终生成航空物探数据库。
图2-14 航空物探数据库物理模型实现
八、空间数据的索引机制
对于海量的空间数据库而言,数据库的操作效率是关系到数据库成败的关键问题。为了提高数据的访问、检索和显示速度,数据在加载到数据库时,要素类数据建立了空间索引,栅格数据构建了金字塔结构,对象类数据采用与数据库直接联接的访问机制。
(一)空间索引
为了提高要素类数据的查询性能,在建立航空物探空间数据库时,创建了空间索引机制。常用的空间索引有格网索引、R树索引、四叉树索引等。Geodatabase采用格网索引方式。所谓格网索引是将空间区域划分成适合大小的正方形格网,记录每一个格网内所包含的空间实体(对象)以及每一个实体的封装边界范围,即包围空间实体的左下角和右上角坐标。当用户进行空间查询时,首先计算出用户查询对象所在格网,然后通过格网编号,就可以快速检索到所需的空间实体。
确定适合的格网级数、单元大小是建立空间格网索引的关键。格网太大,在一个格网内有多个空间实体,查询检索的准确度降低。格网太小,则索引数据量成倍增长和冗余,检索的速度和效率较低。数据库的每一数据层采用不同大小、不同级数的空间索引格网单元,但每层最多级数不能超过三级。格网单元的大小不是一个确定性的值,需要根据对象的大小确定。空间索引格网的大小与检索准确度之间的关系如图2-15所示。
选择格网单元的大小遵循下列基本原则:
1)对于简单要素的数据层,尽可能选择单级索引格网。减少RDBMS搜索格网单元索引的级数,缩短空间索引搜索的过程,例如航迹线要素类。
图2-15 索引格网大小与检索准确度的关系
2)如果数据层中的要素封装边界大小变化比较大,应选择2或3级索引格网。Geodatabase最多提供三级格网单元。每一要素封装边界在适合的级内,减少了每一封装边界有多个格网的可能性。在空间索引搜索过程中,RDBMS则必须搜索所有3个格网单元级,这将消耗大量的时间。
3)若用户经常对图层执行相同的查询,最佳格网的大小应是平均查寻空间范围的1.5倍。
4)格网的大小不能小于要素封装边界的平均大小,为了减少每个格网单元有多个要素封装边界的可能性,格网单元的大小应取平均格网单元的3倍。最佳格网单元的大小可能受图层平均查询的影响。
空间域是按照要素数据集定义的,空间索引格网是按照要素类设置的。它们都是在创建Geodatabase数据库时设置,并一经设置,中间不许改变;所以一定要在充分分析数据的情况下确定它们的值。航空物探数据主要是简单要素类,空间跨度为70°。根据上述原则,航空物探数据选择单级索引格网,格网大小为20°。
(二)金字塔结构
金字塔结构的核心是将栅格数据逐级进行抽稀,形成多级分辨率的重采样数据,并将其分割成块,按一定的文件格式(金字塔文件格式)存储成磁盘文件;在以后进行图像显示处理时,只需将要显示的部分所覆盖的块从磁盘文件直接读进内存缓冲区显示即可。从金字塔的所有层中寻找与所要求显示的比例相近或匹配的一层,并将该层的从某一点起的一定范围的图像所覆盖的所有块加载到内存缓冲区,提取所需部分并形成图像。
金字塔算法(图2-16)是通过获取显示时所需要的一定分辨率的数据来提高显示速度。使用金字塔数据格式后,在显示全图时仅需要显示一个较低分辨率的数据,这样既能加快显示速度,又不会影响显示效果。放大图像,尽管显示图像分辨率提高,由于显示区域减小,所以显示速度不会下降。如果没有为栅格数据建立金字塔数据,则每次显示都会读取整个数据,然后进行重采样得到显示所需要的分辨率,明显地降低了显示速度。
图2-16 金字塔压缩示意图
金字塔数据重采样方式有:最近邻法、双线性内插和立方卷积。其中最近邻法适用于离散数据,而双线性内插法和立方卷积法适合于连续数据。
在ArcGIS Engine中提供了IRasterPyramid和IRasterPyramid2接口来实现金字塔数据的建立,而建立的数据保存在*.rrd格式的文件中。
(三)空间域定义
空间域是指数据的有效空间范围,即Geodatabase数据库的最大等效坐标的值域范围,其定义主要是指比例系数和Min X、Min Y的计算。
因为使用整数比浮点数有更高的压缩率,并且对整数进行二进制搜索比较快,所以多用户Geodatabase以4字节正整数存储坐标,其最大值为32位正整数所能表示的范围是21.4亿(2147483647),整数的范围称为空间域。在创建Geodatabase数据库时需要定义合适的比例系数。大的整数值将消耗大量的计算机物理内存,所以选定的比例系数最好不要大于必须的比例系数。空间域随坐标系的单位变化而变化。
比例系数和空间域之间成反比例关系,比例系数越大(存储单位越小),表达的空间域也越小。为了使目标数据都存储在系统中,需要谨慎地设置比例系数。将目标数据的宽度和高度较适中的数值乘以比例系数,如果结果小于21.4亿,则比例系数是合适的。
航空物探数据模型是为我国的航空物探行业数据建库设计的,它支持的空间数据的坐标范围为我国领土覆盖的海陆空间,最低纬度为赤道。根据概念设计的分析,航空物探数据模型采用的是地理坐标系,坐标系单位是度,基准是Beijing_1954,要求存储的坐标数据精度达到0.01 m。在赤道处,赤道圆周长为40075694.6 m,则每度弧长=40075694.6×100/360 cm=11132137.389 cm,即1 cm对应8.983000883E-8°。所以,航空物探数据模型的比例系数取为8.98E-8,即存储单位为8.98E-8°,可满足1 cm精度要求。
将空间域移动到目标数据范围之前,首先找到空间域在存储单位的中心位置,目的是在必要时向各个方向扩展。4字节正整数可表示的坐标范围:2147483647×8.98E-8=192.84°。我国的领土范围是东经70°~140°,北纬0°~60°。所以,选取的比例系数是合适的。把空间域坐标系中心定为90°,然后,计算空间域的Min X、Min Y。
航空物探信息系统建设
航空物探信息系统建设
所以坐标的存储数据是:
航空物探信息系统建设
航空物探信息系统建设
3. ArcGIS几种数据格式求解答
各种数据的组织形式不一样,其中shp、Coverage、Raster、CAD为文件类型,Geodatabase为空间数据库。Workstaion常用Coverage数据格式。现在ESRI公司推荐使用Geodatabase,一个真正实现对象存储的空间数据库,Geodatabase分为PersonalGeodatabase和企业Geodatabase,前者使用Access数据库,后者支持MSSQLServer、DB2、InforMix、Oracle等企业数据库系统,企业Geodatabase必须使用ESRI公司的SDE访问。Shapefile:一种基于文件方式存储GIS数据的文件格式。至少由shp、dbf、shx三个文件作成,分别存储空间,属性和前两者的关系,是GIS中比较通用的一种数据格式。此外,还有prj、shp.xml、sbn和sbx四种文件:prj存储了坐标系统,shp.xml是对shapefile进行元数据浏览后生成的xml元数据文件,sbn和sbx存储的是shapefile的空间索引,它能加速空间数据的读取,这两个文件是在对数据进行操作、浏览或连接后才产生的,也可以通过ArcToolbox>DataManagementTools>Indexes>AddspatialIndex工具生成。Coverage:一种拓扑数据结构,一般的GIS原理书中都有它的原理论述。数据结构复杂,属性缺省存储在Info表中。目前ArcGIS中仍然有一些分析操作只能基于这种数据格式进行操作。Geodatabase:ArcInfo发展到ArcGIS时候推出的一种数据格式,一种基于RDBMS存储的数据格式,其有两大类:1、PersonalGeodatabse用来存储小数据量数据,存储在Access的mdb格式中,文件不能大于4GB。2、FileGeodatabse同上,不过存储于文件中,文件大小没有限制。3、ArcSDEGeodatabse存储大型数据,存储在大型数据库中Oracle,SqlServer,DB2等,可以实现并发操作,不过需要单独的用户许可。其他:mxd为地图文档文件,mxt为地图模板文件,lyr为层文件。注意:1、我们保存的并不是地图数据,数据存储在GIS数据库中,当显示时,地图会以此数据为基础进行显示。2、Arcinfo对中文的支持不是太好,请尽量不要使用中文作为文件夹的名称和文件的名称。专题研究每一种数据格式第一个专题是Coverage In geographic information systems, a coverage is a mapping of one aspect of data in space. It represents a domain (the universe of extent) in terms of characteristics expressing a range of values. For example: a satellite image derived from remote sensing might record varying degrees of light pollution. Aerial photography, land cover data, and digital elevation models are all considered coverage data."Coverage" is the term typically applied to the legacy Arc/INFO format developed by ESRI. The Coverage Model was a revolutionary concept, extending CAD formats into more spatially aware data that featured linked attributes. Coverages processed using the BUILD and CLEAN commands are 2D planar datasets that maintain topological information, e.g. a polygon "knows" which segments of its perimeter are shared with adjacent polygons.Coverage 是ArcInfo workstation 的原生数据格式。之所以称之为“基于文件夹的存储”,是因为在 windows资源管理器下,它的空间信息和属性信息是分别存放在两个文件夹里。例如,在我的电脑 E:\MyTest\example 文件夹中,有 3 个coverage,它们在 windows 资源管理器下的状态所有信息都以文件夹的形式来存储。空间信息以二进制文件的形式存储在独立的文件夹中,文件夹名称即为该 coverage 名称,属性信息和拓扑数据则以 INFO表的形式存储。Coverage将空间信息与属性信息结合起来,并存储要素间的拓扑关系。 然而,通过 ArcCatalog,我们能将存储空间信息的文件夹中的 coverage二进制文件与存储属性信息的 INFO 文件夹中的 INFO表联合表达为coverage,当使用 ArcCatalog 对 coverage 进行创建、移动、删除或重命名等操作时,ArcCatalog 将自动维护他们的完整性,将 coverage和 INFO文件夹中的内容同步改变。所以对 coverage进行操作,一定要在 ArcCatalog 中进行。 coverage 是一个非常成功的早期地理数据模型,二十多年来深受用户欢迎,很多早期的数据都是 coverage 格式的。ESRI 不公开 coverage 的数据格式,但是提供了 coverage 格式转换的一个交换文件(interchange file,即 E00),并公开数据格式,这样就方便了 coverage 数据与其他格式的数据之间的转换。 Coverage 是一个集合,它可以包含一个或多个要素类。 实际考证如下:在我的目录下是首先,aux文件和rrd文件的作用如下: ArcGIS中的辅助(auxiliary)文件--扩展名为AUX,是一个用来保存栅格文件自身不能保存的辅助信息的文件,它与栅格文件一起存在同一目录中,文件名与栅格文件一致。 一个栅格数据集的统计信息如果不能保存在自身的栅格文件中,那这些信息就会保存在对应的AUX文件中。AUX在对栅格图层进行第一次统计分析的时候自动创建。如果栅格数据集很大,因为统计分析就需要获取更多的栅格单元,以得到统计结果,那么生成AUX文件的时间也需要长些。AUX文件一旦创建好之后,在以后的生产中,如果需要对应栅格数据集的统计信息,那么就可以直接利用AUX文件中的统计数据了,而不需要重新进行统计运算。
如果一个栅格数据集已经创建了影像金字塔,那么AUX文件也保存影像金字塔(RRD)文件保存路径的指针。在影像金字塔创建好之后,直接利用操作系统的Copy、Cut命令来移动栅格图层(raster),系统软件就会在AUX文件中记录的路径中寻找RRD文件。如果找不到对应的RRD文件,系统则会在栅格文件移动前的目录下寻找RRD文件。如果要赋值或粘贴一个栅格数据集,所以为了保住相关文件的完整,最好使用ArcCatalog或ArcInfo实现,
AUX文件能够保存以下信息:彩色地图信息;直方图或表格;坐标系统;变换信息;投影信息。 如果用户是对栅格数据集所在目录或栅格数据集本身进行读写,那么AUX文件会在源数据集的目录下创建。如果栅格数据集所在文件夹是“只读”,或是栅格数据本身是“只读”,那么AUX文件则会创建在默认的代理文件(proxy file)路径下。AUX文件存储的信息,只能由ESRI产品,ERDS或是由RDO/ERaster 库派生出的第三方产品读取。 RRD文件是erdas软件的金字塔文件索引,为的是能够快速显示和漫游。
4. ganglia可以对hadoop集群进行监控和报警吗
ganglia简介
名词说明
引用自此博客介绍
Metrics- 监控电脑的运行数据
Node - 一台电脑,或许拥有多个CPU,中文称之为节点。
Cluster - 一组节点,中文称之为簇。通常节点之间拥有达到G比特的高带宽,簇内通过组播协议,每个节点组播自己的数据,所以每个节点拥有整个簇的状态,这种冗余设计可以提高簇的鲁棒性。一般簇内节点为相同的系统和体系结构,由同一个管理员管理。
Grid - 一组簇,中文可称之为网格。网格的用处是在一个大范围内把各异构的簇通过宽带汇聚在一起。
Ganglia的各种组成ip1 安装ganglia主节点
yum -y install epel-release
yum -y install rrdtool httpd
yum -y install ganglia-devel ganglia-gmetad ganglia-gmond
yum -y install php ganglia-web
ip2-ip7 安装ganglia从节点
yum -y install epel-release
yum -y install ganglia-mond
ganglia配置文件目录:/etc/ganglia
rrd数据库存放目录:/var/lib/ganglia/rrds
httpd主站点目录:/var/www/html
ganglia-web安装目录:/usr/share/ganglia
ganglia-web配置目录:/etc/httpd/conf.d/ganglia.conf
相关配置文件修改
将ganglia-web安装目录链接到httpd主站点目录
将 ganglia-web 的 站 点 目 录 连 接 到 httpd 主 站 点 目 录 $ ln -s /usr/share/ganglia /var/www/html修改httpd主站点目录下ganglia站点目录的访问权限
将 ganglia 站点目录访问权限改为 apache:apache,否则会报错- $ chown -R apache:apache /var/www/html/ganglia
- $ chmod -R 755 /var/www/html/ganglia12
- - 修改rrd数据库存放目录访问权限 将 rrd 数据库存放目录访问权限改为12
- - 修改ganglia-web的访问权限:修改/etc/httpd/conf.d/ganglia.conf
- 12
- Alias /ganglia /usr/share/ganglia
- <Location /ganglia>
- Require all granted
- #Require ip 10.1.2.3
- #Require host example.org
- </Location>123456
配置/etc/ganglia/gmond.conf
- cluster {
- name = "hadoop cluster" ... }
- udp_send_channel {
- #the host who gather this cluster's monitoring data and send these data to gmetad node
- host = ip1
- port = 8649 }
- udp_recv_channel {
- port = 8649 }
- tcp_accept_channel {
- port = 8649 } 123456789101112131415161718
- cluster {
- name = "hadoop cluster" ... }
- udp_send_channel {
- # the host who gather this cluster's monitoring data and send these data to gmetad node
- host = ip1
- port = 8649 }
- udp_recv_channel {
- port = 8649 }
- tcp_accept_channel {
- port = 8649 }1234567891011121314151617
- # 修改/hadoop/etc/hadoop/hadoop-metrics2.propertiesnamenode.sink.ganglia.servers=ip1:8649resourcemanager.sink.ganglia.servers=ip1:8649mrappmaster.sink.ganglia.servers=ip1:8649jobhistoryserver.sink.ganglia.servers=ip1:8649*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
- *.sink.ganglia.period=10*.sink.ganglia.supportsparse=true
- *.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
- *.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=401234567891011
- datanode.sink.ganglia.servers=ip1:8649nodemanager.sink.ganglia.servers=ip1:8649*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
- *.sink.ganglia.period=10*.sink.ganglia.supportsparse=true
- *.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
- *.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=401234567
ganglia反应有点慢,每次重启后,数据得等一阵子才显示出来。这个也跟设置的有关,10秒一次显示
我本来配置每个节点都有gmond,cluster的信息发送到本地的gmond,由gmond发送给gmetad,但是一直不成功。我使用了telnet localhost 8649,能看到数据,但是gmetad就是不显示。暂时也没找到什么原因。
功能
名称及配置文件
位置
数据采集器 名叫gmond(Ganglia MONitor Daemon)的服务程序,配置文件是/etc/ganglia/gmond.conf 位于每个Node上
数据混合收集器 名叫gmetad(Ganglia METAdata Daemon)的服务程序,配置文件是/etc/ganglia/gmetad.conf。它通过轮询收集gmond的数据,并聚合簇的各类信息,然后保存在本地rrdtool的数据库中 最好每个cluster都有一个gmetad,以便能构建多级网络
Web可视化工具 这是用php脚本实现的将数据可视化,并画出表格。可以是任何支持PHP、SSL和XML的web服务器。一般都用Apache2 web服务器 一般与gmetad部署在一个节点上
额外的高级工具 gmetric可以用来添加你需要监控的Node额外状态
gstat可以直接获得Ganglia的数据 每台需要这些功能的Node上
实验环境
机器
系统
软件
ip1 centos 7 gmetad + gmond +ganglia-web 3.7.2
ip2 centos 5 gmond 3.7.1
ip3 centos 5 gmond 3.7.1
ip4 centos 5 gmond 3.7.1
ip5 centos 5 gmond 3.7.1
ip6 centos 5 gmond 3.7.1
ip7 centos 5 gmond 3.7.1
ganglia安装配置
安装
配置
$ chown -R ganglia:ganglia /var/lib/ganglia/rrds
2.2 Hadoop cluster被监测节点的配置 配置/etc/ganglia/gmond.conf
Hadoop配置
主节点:
从节点
成果
可以看到有datanode相关信息
注意问题
5. 1389端口 是用来做什么的
1389是终端服务器开的端口
端口号码 / 层 名称 注释
1 tcpmux TCP 端口服务多路复用
5 rje 远程作业入口
7 echo Echo 服务
9 discard 用于连接测试的空服务
11 systat 用于列举连接了的端口的系统状态
13 daytime 给请求主机发送日期和时间
17 qotd 给连接了的主机发送每日格言
18 msp 消息发送协议
19 chargen 字符生成服务;发送无止境的字符流
20 ftp-data FTP 数据端口
21 ftp 文件传输协议(FTP)端口;有时被文件服务协议(FSP)使用
22 ssh 安全 Shell(SSH)服务
23 telnet Telnet 服务
25 smtp 简单邮件传输协议(SMTP)
37 time 时间协议
39 rlp 资源定位协议
42 nameserver 互联网名称服务
43 nicname WHOIS 目录服务
49 tacacs 用于基于 TCP/IP 验证和访问的终端访问控制器访问控制系统
50 re-mail-ck 远程邮件检查协议
53 domain 域名服务(如 BIND)
63 whois++ WHOIS++,被扩展了的 WHOIS 服务
67 bootps 引导协议(BOOTP)服务;还被动态主机配置协议(DHCP)服务使用
68 bootpc Bootstrap(BOOTP)客户;还被动态主机配置协议(DHCP)客户使用
69 tftp 小文件传输协议(TFTP)
70 gopher Gopher 互联网文档搜寻和检索
71 netrjs-1 远程作业服务
72 netrjs-2 远程作业服务
73 netrjs-3 远程作业服务
73 netrjs-4 远程作业服务
79 finger 用于用户联系信息的 Finger 服务
80 http 用于万维网(WWW)服务的超文本传输协议(HTTP)
88 kerberos Kerberos 网络验证系统
95 supp Telnet 协议扩展
101 hostname SRI-NIC 机器上的主机名服务
102/tcp iso-tsap ISO 开发环境(ISODE)网络应用
105 csnet-ns 邮箱名称服务器;也被 CSO 名称服务器使用
107 rtelnet 远程 Telnet
109 pop2 邮局协议版本2
110 pop3 邮局协议版本3
111 sunrpc 用于远程命令执行的远程过程调用(RPC)协议,被网络文件系统(NFS)使用
113 auth 验证和身份识别协议
115 sftp 安全文件传输协议(SFTP)服务
117 uucp-path Unix 到 Unix 复制协议(UUCP)路径服务
119 nntp 用于 USENET 讨论系统的网络新闻传输协议(NNTP)
123 ntp 网络时间协议(NTP)
137 netbios-ns 在 红帽企业 Linux 中被 Samba 使用的 NETBIOS 名称服务
138 netbios-dgm 在 红帽企业 Linux 中被 Samba 使用的 NETBIOS 数据报服务
139 netbios-ssn 在 红帽企业 Linux 中被 Samba 使用的 NETBIOS 会话服务
143 imap 互联网消息存取协议(IMAP)
161 snmp 简单网络管理协议(SNMP)
162 snmptrap SNMP 的陷阱
163 cmip-man 通用管理信息协议(CMIP)
164 cmip-agent 通用管理信息协议(CMIP)
174 mailq MAILQ 电子邮件传输队列
177 xdmcp X 显示管理器控制协议(XDMCP)
178 nextstep NeXTStep 窗口服务器
179 bgp 边界网络协议
191 prospero Prospero 分布式文件系统服务
194 irc 互联网中继聊天(IRC)
199 smux SNMP UNIX 多路复用
201 at-rtmp AppleTalk 选路
202 at-nbp AppleTalk 名称绑定
204 at-echo AppleTalk echo 服务
206 at-zis AppleTalk 区块信息
209 qmtp 快速邮件传输协议(QMTP)
210 z39.50 NISO Z39.50 数据库
213 ipx 互联网络分组交换协议(IPX),被 Novell Netware 环境常用的数据报协议
220 imap3 互联网消息存取协议版本3
245 link LINK / 3-DNS iQuery 服务
347 fatserv FATMEN 文件和磁带官吏服务器
363 rsvp_tunnel RSVP 隧道
369 rpc2portmap Coda 文件系统端口映射器
370 codaauth2 Coda 文件系统验证服务
372 ulistproc UNIX LISTSERV
389 ldap 轻型目录存取协议(LDAP)
427 svrloc 服务位置协议(SLP)
434 mobileip-agent 可移互联网协议(IP)代理
435 mobilip-mn 可移互联网协议(IP)管理器
443 https 安全超文本传输协议(HTTP)
444 snpp 小型网络分页协议
445 microsoft-ds 通过 TCP/IP 的服务器消息块(SMB)
464 kpasswd Kerberos 口令和钥匙改换服务
468 photuris Photuris 会话钥匙管理协议
487 saft 简单不对称文件传输(SAFT)协议
488 gss-http 用于 HTTP 的通用安全服务(GSS)
496 pim-rp-disc 用于协议独立的多址传播(PIM)服务的会合点发现(RP-DISC)
500 isakmp 互联网安全关联和钥匙管理协议(ISAKMP)
535 iiop 互联网内部对象请求代理协议(IIOP)
538 gdomap GNUstep 分布式对象映射器(GDOMAP)
546 dhcpv6-client 动态主机配置协议(DHCP)版本6客户
547 dhcpv6-server 动态主机配置协议(DHCP)版本6服务
554 rtsp 实时流播协议(RTSP)
563 nntps 通过安全套接字层的网络新闻传输协议(NNTPS)
565 whoami whoami 用户ID列表
587 submission 邮件消息提交代理(MSA)
610 npmp-local 网络外设管理协议(NPMP)本地 / 分布式排队系统(DQS)
611 npmp-gui 网络外设管理协议(NPMP)GUI / 分布式排队系统(DQS)
612 hmmp-ind HyperMedia 管理协议(HMMP)表示 / DQS
631 ipp 互联网打印协议(IPP)
636 ldaps 通过安全套接字层的轻型目录访问协议(LDAPS)
674 acap 应用程序配置存取协议(ACAP)
694 ha-cluster 用于带有高可用性的群集的心跳服务
749 kerberos-adm Kerberos 版本5(v5)的“kadmin”数据库管理
750 kerberos-iv Kerberos 版本4(v4)服务
765 webster 网络词典
767 phonebook 网络电话簿
873 rsync rsync 文件传输服务
992 telnets 通过安全套接字层的 Telnet(TelnetS)
993 imaps 通过安全套接字层的互联网消息存取协议(IMAPS)
994 ircs 通过安全套接字层的互联网中继聊天(IRCS)
995 pop3s 通过安全套接字层的邮局协议版本3(POPS3)
表 C-1. 着名端口
表 C-2 列举了 UNIX 特有的端口。它包括了从电子邮件到验证等服务。包括在方括号内的名称(如 [service])是服务的守护进程名称或常用别名。
端口号码 / 层 名称 注释
512/tcp exec 用于对远程执行的进程进行验证
512/udp biff [comsat] 异步邮件客户(biff)和服务(comsat)
513/tcp login 远程登录(rlogin)
513/udp who [whod] whod 用户记录守护进程
514/tcp shell [cmd] 无记录的远程 shell(rshell)和远程复制(rcp)
514/udp syslog UNIX 系统日志服务
515 printer [spooler] 打印机(lpr)假脱机
517/udp talk Talk 远程对话服务和客户
518/udp ntalk 网络交谈(ntalk),远程对话服务和客户
519 utime [unixtime] UNIX 时间协议(utime)
520/tcp efs 扩展文件名服务器(EFS)
520/udp router [route, routed] 选路信息协议(RIP)
521 ripng 用于互联网协议版本6(IPv6)的选路信息协议
525 timed [timeserver] 时间守护进程(timed)
526/tcp tempo [newdate] Tempo
530/tcp courier [rpc] Courier 远程过程调用(RPC)协议
531/tcp conference [chat] 互联网中继聊天
532 netnews Netnews 新闻组服务
533/udp netwall 用于紧急广播的 Netwall
540/tcp uucp [uucpd] UNIX-to-UNIX 复制服务
543/tcp klogin Kerberos 版本5(v5)远程登录
544/tcp kshell Kerberos 版本5(v5)远程 shell
548 afpovertcp 通过传输控制协议(TCP)的 Appletalk 文件编制协议(AFP)
556 remotefs [rfs_server, rfs] Brunhoff 的远程文件系统(RFS)
表 C-2. UNIX 特有的端口
表 C-3 列举了由网络和软件社区向 IANA 提交的要在端口号码列表中正式注册的端口。
端口号码 / 层 名称 注释
1080 socks SOCKS 网络应用程序代理服务
1236 bvcontrol [rmtcfg] Gracilis Packeten 网络转换远程配置服务器[a]
1300 h323hostcallsc H.323 电讯主持电话安全
1433 ms-sql-s Microsoft SQL 服务器
1434 ms-sql-m Microsoft SQL 监视器
1494 ica Citrix ICA 客户
1512 wins Microsoft Windows 互联网名称服务器
1524 ingreslock Ingres 数据库管理系统(DBMS)锁定服务
1525 prospero-np 无特权的 Prospero
1645 datametrics [old-radius] Datametrics / 从前的 radius 项目
1646 sa-msg-port [oldradacct] sa-msg-port / 从前的 radacct 项目
1649 kermit Kermit 文件传输和管理服务
1701 l2tp [l2f] 第2层隧道服务(LT2P) / 第2层转发(L2F)
1718 h323gatedisc H.323 电讯守门装置发现机制
1719 h323gatestat H.323 电讯守门装置状态
1720 h323hostcall H.323 电讯主持电话设置
1758 tftp-mcast 小文件 FTP 组播
1759/udp mtftp 组播小文件 FTP(MTFTP)
1789 hello Hello 路由器通信端口
1812 radius Radius 拨号验证和记帐服务
1813 radius-acct Radius 记帐
1911 mtp Starlight 网络多媒体传输协议(MTP)
1985 hsrp Cisco 热备用路由器协议
1986 licensedaemon Cisco 许可管理守护进程
1997 gdp-port Cisco 网关发现协议(GDP)
2049 nfs [nfsd] 网络文件系统(NFS)
2102 zephyr-srv Zephyr 分布式即时消息服务器
2103 zephyr-clt Zephyr 客户
2104 zephyr-hm Zephyr 主机管理器
2401 cvspserver 并行版本系统(CVS)客户 / 服务器操作
2430/tcp venus 用于 Coda 文件系统(codacon 端口)的 Venus 缓存管理器
2430/udp venus 用于 Coda 文件系统(callback/wbc interface 界面)的 Venus 缓存管理器
2431/tcp venus-se Venus 传输控制协议(TCP)的副作用
2431/udp venus-se Venus 用户数据报协议(UDP)的副作用
2432/udp codasrv Coda 文件系统服务器端口
2433/tcp codasrv-se Coda 文件系统 TCP 副作用
2433/udp codasrv-se Coda 文件系统 UDP SFTP 副作用
2600 hpstgmgr [zebrasrv] Zebra 选路[b]
2601 discp-client [zebra] discp 客户;Zebra 集成的 shell
2602 discp-server [ripd] discp 服务器;选路信息协议守护进程(ripd)
2603 servicemeter [ripngd] 服务计量;用于 IPv6 的 RIP 守护进程
2604 nsc-ccs [ospfd] NSC CCS;开放式短路径优先守护进程(ospfd)
2605 nsc-posa NSC POSA;边界网络协议守护进程(bgpd)
2606 netmon [ospf6d] Dell Netmon;用于 IPv6 的 OSPF 守护进程(ospf6d)
2809 corbaloc 公共对象请求代理体系(CORBA)命名服务定位器
3130 icpv2 互联网缓存协议版本2(v2);被 Squid 代理缓存服务器使用
3306 mysql MySQL 数据库服务
3346 trnsprntproxy 透明代理
4011 pxe 执行前环境(PXE)服务
4321 rwhois 远程 Whois(rwhois)服务
4444 krb524 Kerberos 版本5(v5)到版本4(v4)门票转换器
5002 rfe 无射频以太网(RFE)音频广播系统
5308 cfengine 配置引擎(Cfengine)
5999 cvsup [CVSup] CVSup 文件传输和更新工具
6000/tcp x11 [X] X 窗口系统服务
7000 afs3-fileserver Andrew 文件系统(AFS)文件服务器
7001 afs3-callback 用于给缓存管理器回电的 AFS 端口
7002 afs3-prserver AFS 用户和组群数据库
7003 afs3-vlserver AFS 文件卷位置数据库
7004 afs3-kaserver AFS Kerberos 验证服务
7005 afs3-volser AFS 文件卷管理服务器
7006 afs3-errors AFS 错误解释服务
7007 afs3-bos AFS 基本监查进程
7008 afs3-update AFS 服务器到服务器更新器
7009 afs3-rmtsys AFS 远程缓存管理器服务
9876 sd IP 多址传播会议的会话指挥
10080 amanda 高级 Maryland 自动网络磁盘归档器(Amanda)备份服务
11371 pgpkeyserver 良好隐私(PGP) / GNU 隐私卫士(GPG)公钥服务器
11720 h323callsigalt H.323 调用信号交替
13720 bprd Veritas NetBackup 请求守护进程(bprd)
13721 bpdbm Veritas NetBackup 数据库管理器(bpdbm)
13722 bpjava-msvc Veritas NetBackup Java / Microsoft Visual C++ (MSVC) 协议
13724 vnetd Veritas 网络工具
13782 bpcd Vertias NetBackup
13783 vopied Veritas VOPIE 验证守护进程
22273 wnn6 [wnn4] 假名/汉字转换系统[c]
26000 quake Quake(以及相关的)多人游戏服务器
26208 wnn6-ds Wnn6 假名/汉字服务器
33434 traceroute Traceroute 网络跟踪工具
注:
a. /etc/services 中的注释如下:端口1236被注册为“bvcontrol”,但是它也被 Gracilis Packeten 远程配置服务器使用。正式名称被列为主要名称,未注册的名称被列为别名。
b. 在 /etc/services 中的注释:端口 2600 到 2606 被 zebra 软件包未经注册而使用。主要名称是被注册的名称,被 zebra 使用的未注册名称被列为别名。
c. /etc/services 文件中的注释:该端口被注册为 wnn6,但是还在 FreeWnn 软件包中使用了未注册的“wnn4”。
表 C-3. 注册的端口
表 C-4 显示了一个和数据报传递协议(DDP)有关的端口列表。DDP 在 AppleTalk 网络上被使用。
端口号码 / 层 名称 注释
1/ddp rtmp 路由表管理协议
2/ddp nbp 名称绑定协议
4/ddp echo AppleTalk Echo 协议
6/ddp zip 区块信息协议
表 C-4. 数据报传递协议端口
表 C-5是和 Kerberos 网络验证协议相关的端口列表。在标记的地方,v5 代表 Kerberos 版本5协议。注意,这些端口没有在 IANA 注册。
端口号码 / 层 名称 注释
751 kerberos_master Kerberos 验证
752 passwd_server Kerberos 口令(kpasswd)服务器
754 krb5_prop Kerberos v5 从属传播
760 krbupdate [kreg] Kerberos 注册
1109 kpop Kerberos 邮局协议(KPOP)
2053 knetd Kerberos 多路分用器
2105 eklogin Kerberos v5 加密的远程登录(rlogin)
表 C-5. Kerberos(工程 Athena/MIT)端口
表 C-6是一个未注册的端口列表。这些端口可能被安装在你的 红帽企业 Linux 系统上的服务或协议使用,或者它们是在 红帽企业 Linux 和运行其它操作系统的机器通信所必需的端口。
端口号码 / 层 名称 注释
15/tcp netstat 网络状态(netstat)
98/tcp linuxconf Linuxconf Linux 管理工具
106 poppassd 邮局协议口令改变守护进程(POPPASSD)
465/tcp smtps 通过安全套接字层的简单邮件传输协议(SMTPS)
616/tcp gii 使用网关的(选路守护进程)互动界面
808 omirr [omirrd] 联机镜像(Omirr)文件镜像服务
871/tcp supfileserv 软件升级协议(SUP)服务器
901/tcp swat Samba 万维网管理工具(SWAT)
953 rndc Berkeley 互联网名称域版本9(BIND 9)远程配置工具
1127/tcp supfiledbg 软件升级协议(SUP)调试
1178/tcp skkserv 简单假名到汉字(SKK)日文输入服务器
1313/tcp xtel 法国 Minitel 文本信息系统
1529/tcp support [prmsd, gnatsd] GNATS 错误跟踪系统
2003/tcp cfinger GNU finger
2150 ninstall 网络安装服务
2988 afbackup afbackup 客户-服务器备份系统
3128/tcp squid Squid 万维网代理缓存
3455 prsvp RSVP 端口
5432 postgres PostgreSQL 数据库
4557/tcp fax FAX 传输服务(旧服务)
4559/tcp hylafax HylaFAX 客户-服务器协议(新服务)
5232 sgi-dgl SGI 分布式图形库
5354 noclog NOCOL 网络操作中心记录守护进程(noclogd)
5355 hostmon NOCOL 网络操作中心主机监视
5680/tcp canna Canna 日文字符输入界面
6010/tcp x11-ssh-offset 安全 Shell(SSH)X11 转发偏移
6667 ircd 互联网中继聊天守护进程(ircd)
7100/tcp xfs X 字体服务器(XFS)
7666/tcp tircproxy Tircproxy IRC 代理服务
8008 http-alt 超文本传输协议(HTTP)的另一选择
8080 webcache 万维网(WWW)缓存服务
8081 tproxy 透明代理
9100/tcp jetdirect [laserjet, hplj] Hewlett-Packard (HP) JetDirect 网络打印服务
9359 mandelspawn [mandelbrot] 用于 X 窗口系统的并行 mandelbrot 生成程序
10081 kamanda 使用 Kerberos 的 Amanda 备份服务
10082/tcp amandaidx Amanda 索引服务器
10083/tcp amidxtape Amanda 磁带服务器
20011 isdnlog 综合业务数字网(ISDN)记录系统
20012 vboxd ISDN 音箱守护进程(vboxd)
22305/tcp wnn4_Kr kWnn 韩文输入系统
22289/tcp wnn4_Cn cWnn 中文输入系统
22321/tcp wnn4_Tw tWnn 中文输入系统(台湾)
24554 binkp Binkley TCP/IP Fidonet 邮寄程序守护进程
27374 asp 地址搜索协议
60177 tfido Ifmail FidoNet 兼容邮寄服务
60179 fido 默认doNet 电子邮件和新闻网络
6. matlab怎样从多个txt文件中抽取想要的数据画图
首先关于matlab,我不了解,想问一下,你想出图的话,建议用,rrd数据库,用RRDTOOL出图呢,那样会简单些,图片也漂亮。
7. 关于rrdtool的数据从mysql数据库中查询,如何操作
linux的帮不上~
8. 数据库物理模型
数据库物理模型设计的目标是根据选定的Oracle数据库系统特点和航空物探数据管理与服务的业务处理需求,确定航空物探数据库最优的物理环境、存取方法和存储结构。即通过数据库物理设计,以便达到物理数据库结构的优化,使得在数据库上运行的各种事务响应时间少、存储空间利用率高、事务吞吐率大。
一、数据库布局
航空物探信息系统的维护数据(部门、岗位、人员、人员权限、数据入库检查规则及数据字典等)相对比较稳定。入库前数据需经过各种检查校对,确认数据正确后才能归档,存入航空物探资料数据库,所以存入资料库前的数据可能经常需要修改和删除,相对变化较大;而存入资料数据库中的数据一般不允许修改和删除,以免误操作破坏资料库数据造成损失。
图2-12 航空物探数据库逻辑模型
图2-13 航空物探数据库布局与数据采集流程图
据此,我们采用图2-13所示的数据库数据采集流程,并将航空物探数据库分为资料采集数据库、资料数据库、系统维护数据库分别进行存储和管理,实现数据的统一管理和统一使用,便于数据入库和易于维护等。
航空物探资料数据库是航空物探所有数据最终存储的场所。资料采集数据库是数据归档存入资料数据库前的临时“集散地”,在此接收各项检查,在确认数据无误后归档到资料数据库,然后删除资料采集数据库中已归档的数据。此外,资料采集数据库中还保存数据入库、维护、检查日志及归档记录。
系统维护数据库,存储系统维护信息(如系统功能、数据库表清单等)、安全信息(如信息系统用户的角色、权限、授权的系统功能等),数据字典、入库数据检查规则等。将其与航空物探数据分开,有利于系统维护和管理。
二、数据库空间设置
数据库空间设置包括磁盘空间设置、应用系统表空间设置、撤销表空间、临时表空间、日志空间和索引空间设置。
(一)磁盘空间设置
磁盘空间设置的目标:磁盘性能不能阻碍实现数据库性能,数据库磁盘必须专用于数据库文件,否则非数据库将会影响到数据库性能,且磁盘空间必须满足恢复和性能的要求。
航空物探数据库服务器为IBMP620小型机,8块硬盘,每块硬盘36GB空间,每块物理磁盘建立一个文件系统。为了提高磁盘的反应时间和寻道时间,提高I/O的存取效率,除了一块硬盘用于UNIX操作系统外,其余7块磁盘分别存放资料采集数据库、系统维护数据库-日志文件,资料数据库及资料数据库的大字段数据、索引、回滚段和数据日志文件。
(二)应用系统表空间设置
信息系统数据采集过程对数据的事务操作比较频繁,经常进行数据插入(新数据入库)、修改(入库数据有误)和删除操作(数据重新导入或归档入库),因此航空物探资料采集数据库所在的表空间会很活跃。为了不影响其他I/O的竞争,同时也可以提高数据入库的操作效率(50多年的历史数据需要集中入库),分配一个磁盘空间(36GB)为采集库的表空间。由于采集数据归档入资料库后被删除,同时进行数据入库的项目也不是很多,虽仍保留所有的采集日志数据,一个磁盘空间也足够使用。
航空物探资料数据库的二维表和Oracle大字段(BLOB)分别存放在不同的物理磁盘(每个磁盘36GB)上,对同时存在有表格数据和大字段数据的数据库表(如航迹线数据)时,可以提高磁盘I/O效率。随着数据入库的项目越来越多,需要增加相应的物理磁盘或磁盘阵列。
系统维护数据库相对稳定,占用磁盘空间约500M左右。由于系统磁盘有限,把日志文件存放该磁盘中。
(三)撤销表和临时表空间的设置
在Oracle数据库中,撤销的目的是确保事务的回退和恢复。撤销参数有UNDO_MANAGEMENT、UNDO_TABLESPACE和UNDO_RETENTION。
UNDO_MANAGEMENT参数用于数据库中管理撤销数据的方式,航空物探数据库设置为自动模式(auto)。
UNDO_TABLESPACE参数用于指定数据库中保存撤销数据的撤销表空间名称,航空物探数据库撤销表空间名称为UNDO_ARGS_TBSPACE,空间大小设置为20GB,以确保在保留时间内进行恢复。
UNDO_RETENTION参数用于指定已经提交事务的撤销数据在能够覆盖之前应该保留多长时间,本数据库系统设置为60min。
临时表空间是用以存储大量的排序,与撤销表空间存放在一个物理磁盘上,本数据库系统临时表空间设置为500M。
(四)日志空间设置
日志的主要功能是记录对数据库已做过的全部操作。在系统出现故障时,如果不能将修改数据永久地写入数据文件,则可利用日志得到该修改,所以不会丢失已有操作结果。
日志文件主要是保护数据库以防止故障。为了防止日志文件本身的故障,航空物探数据库系统分别在一个独立磁盘和系统维护库磁盘中存放日志文件。若系统出现故障,在下次打开数据库时Oracle数据库系统自动用日志文件中的信息来恢复数据库文件。
根据航空物探数据库信息系统同时登录的用户数及使用的功能,将日志文件大小设置为10GB。
(五)索引表空间设置
为了提高航空物探信息系统的查询和统计速度,把所有索引空间与应用表空间完全分开,从而提高I/O存取效率。航空物探索引表空间大小设置为10GB。
聚集是表的一种存储方法,一般每个基本表是单独组织的,但对逻辑上经常在一起查询的表,在物理上也邻近存放,这样可减少数据的搜索时间,提高性能。
当几个关系(表)以聚集方式组织时,是通过公共属性的值为表聚集的依据。航空物探数据库系统是以项目标识(PROJ_ID)建立聚集的,所有涉及项目标识的数据库表直接引用项目标识聚集。航空物探聚集表空间与索引表空间相同。
三、数据库参数设置
在数据库创建前需要对如下数据库参数进行设置,航空物探参数文件名为Inito-raargs.ora,各种参数设置如下:
DB_block_size=16384
DB_name=oraagrs
DB_domain=oraargs.com
Compatible=9.1.0
Nls_characterset=ZHS16GBK
Open_Cursors=100
DB_files=100
DB_file_mutliblock_read_count=16
Log_checkpoint_interval=256000
Processes=200
四、内存设置
航空物探数据库服务器物理内存为4GB,除部分用于系统开销外,其余全部用于数据库。
Oracle使用共享系统全局区(System Globla Area,SGA)内存来管理内存和文件结构,包含DB_block_Bufers、DB_cache_size、Shared_pool_size、Log_Buffer参数。航空物探数据库系统的全局区内存参数设置如下。
DB_block_Buffers参数为SGA中存储区高速缓存的缓冲区数目,每个缓冲区的大小等于参数DB_block_size的大小,DB_block_Buffers=19200(约300MB)。
Shared_pool_size参数为分配给共享SQL区的字节数,是SGA大小的主要影响者,Shared_pool_size=1228800000(1.2GB)。
DB_cache_size参数是SGA大小和数据库性能的最重要的决定因素。该值较高,可以提高系统的命中率,减少I/O,DB_cache_size=1024000000(1GB)。
Log_Bufer参数为重做日志高速缓存大小,主要进行插入、删除和修改回退操作,Log_buffer=5120000(5MB)。
五、优化设置
由于航空物探信息系统的采集软件和应用软件是采用MS.NETC#进行开发的,应用程序与数据库之间的连接有传统的ODBC和OLEDB两种方式。为了支持ODBC在OLEDB技术上建立了相应的OLEDB到ODBC的调用转换,而使用直接的OLEDB方式则不需转换,从而提高处理速度。
在建立数据库表时,参数Pctfree和Pctused设置不正确可能会导致数据出现行链接和行迁移现象,即同一行的数据被保存在不同的数据块中。在进行数据查询时,为了读出这些数据,磁头必须重新定位,这样势必会大大降低数据库的执行速度。因此,在创建表时应充分估计到将来可能出现的数据变化,正确地设置这两个参数,尽量减少数据库中出现的行链接和行迁移现象。
航空物探资料采集数据库表的插入、修改和删除的频率较高,Pctfree设置为20,Pctused设置为40;系统维护数据库表相对稳定,Pctfree设置为10,Pctused设置为15;资料数据库表除了增加数据外基本不进行修改和删除操作,Pctfree设置为10,Pctused设置为5。
六、扩展性设置
多CPU和并行查询PQO(Parallel Query Option)方式的利用:CPU的快速发展使得Oracle越来越重视对多CPU的并行技术的应用,一个数据库的访问工作可以用多个CPU相互配合来完成。对于多CPU系统尽量采用并行查询选项方式进行数据库操作。航空物探数据库服务器为2个CPU,在程序查询中采用了并行查询的方式。
在航空物探工作量统计、飞行小时统计、测量面积统计和岩石物性统计中,为了加快统计效率,在相应的查询语句中增加了并行查询语句。
随着航空物探高精度测量程度的不断提高,测量数据将越来越大。为了满足航空物探查询效率及发展,将航磁测量数据与校正后航磁测量数据按比例尺分1:20万以下、20万~50万、1:50万以上分别存放3张不同的数据库表。
七、创建数据库
在完成数据库布局、空间设置、内存设置、数据库参数设置、扩展性设置和优化设置后,进行航空物探数据库物理模型设计,即航空物探数据库实体创建。由于航空物探空间数据库逻辑模型是采用ESRI提供的ArcGIS UML构建的Geodatabase模型,因此,使用ESRI公司提供的CaseTools将航空物探数据UML模型图转成空间数据库(Geodatabase)实体(图2-14)。
航空物探属性数据库表(二维表)是采用Power Designer数据库设计平台直接把数据库关系模型生成数据库脚本来创建的。
经过数据库的概念设计、逻辑设计和物理设计,最终生成航空物探数据库。
图2-14 航空物探数据库物理模型实现
八、空间数据的索引机制
对于海量的空间数据库而言,数据库的操作效率是关系到数据库成败的关键问题。为了提高数据的访问、检索和显示速度,数据在加载到数据库时,要素类数据建立了空间索引,栅格数据构建了金字塔结构,对象类数据采用与数据库直接联接的访问机制。
(一)空间索引
为了提高要素类数据的查询性能,在建立航空物探空间数据库时,创建了空间索引机制。常用的空间索引有格网索引、R树索引、四叉树索引等。Geodatabase采用格网索引方式。所谓格网索引是将空间区域划分成适合大小的正方形格网,记录每一个格网内所包含的空间实体(对象)以及每一个实体的封装边界范围,即包围空间实体的左下角和右上角坐标。当用户进行空间查询时,首先计算出用户查询对象所在格网,然后通过格网编号,就可以快速检索到所需的空间实体。
确定适合的格网级数、单元大小是建立空间格网索引的关键。格网太大,在一个格网内有多个空间实体,查询检索的准确度降低。格网太小,则索引数据量成倍增长和冗余,检索的速度和效率较低。数据库的每一数据层采用不同大小、不同级数的空间索引格网单元,但每层最多级数不能超过三级。格网单元的大小不是一个确定性的值,需要根据对象的大小确定。空间索引格网的大小与检索准确度之间的关系如图2-15所示。
选择格网单元的大小遵循下列基本原则:
1)对于简单要素的数据层,尽可能选择单级索引格网。减少RDBMS搜索格网单元索引的级数,缩短空间索引搜索的过程,例如航迹线要素类。
图2-15 索引格网大小与检索准确度的关系
2)如果数据层中的要素封装边界大小变化比较大,应选择2或3级索引格网。Geodata-base最多提供三级格网单元。每一要素封装边界在适合的级内,减少了每一封装边界有多个格网的可能性。在空间索引搜索过程中,RDBMS则必须搜索所有3个格网单元级,这将消耗大量的时间。
3)若用户经常对图层执行相同的查询,最佳格网的大小应是平均查寻空间范围的1.5倍。
4)格网的大小不能小于要素封装边界的平均大小,为了减少每个格网单元有多个要素封装边界的可能性,格网单元的大小应取平均格网单元的3倍。最佳格网单元的大小可能受图层平均查询的影响。
空间域是按照要素数据集定义的,空间索引格网是按照要素类设置的。它们都是在创建Geodatabase数据库时设置,并一经设置,中间不许改变;所以一定要在充分分析数据的情况下确定它们的值。航空物探数据主要是简单要素类,空间跨度为70°。根据上述原则,航空物探数据选择单级索引格网,格网大小为20°。
(二)金字塔结构
金字塔结构的核心是将栅格数据逐级进行抽稀,形成多级分辨率的重采样数据,并将其分割成块,按一定的文件格式(金字塔文件格式)存储成磁盘文件;在以后进行图像显示处理时,只需将要显示的部分所覆盖的块从磁盘文件直接读进内存缓冲区显示即可。从金字塔的所有层中寻找与所要求显示的比例相近或匹配的一层,并将该层的从某一点起的一定范围的图像所覆盖的所有块加载到内存缓冲区,提取所需部分并形成图像。
金字塔算法(图2-16)是通过获取显示时所需要的一定分辨率的数据来提高显示速度。使用金字塔数据格式后,在显示全图时仅需要显示一个较低分辨率的数据,这样既能加快显示速度,又不会影响显示效果。放大图像,尽管显示图像分辨率提高,由于显示区域减小,所以显示速度不会下降。如果没有为栅格数据建立金字塔数据,则每次显示都会读取整个数据,然后进行重采样得到显示所需要的分辨率,明显地降低了显示速度。
图2-16 金字塔压缩示意图
金字塔数据重采样方式有:最近邻法、双线性内插和立方卷积。其中最近邻法适用于离散数据,而双线性内插法和立方卷积法适合于连续数据。
在ArcGISEngine中提供了IRasterPyramid和IRasterPyramid2接口来实现金字塔数据的建立,而建立的数据保存在*.rrd格式的文件中。
(三)空间域定义
空间域是指数据的有效空间范围,即Geodatabase数据库的最大等效坐标的值域范围,其定义主要是指比例系数和MinX、MinY的计算。
因为使用整数比浮点数有更高的压缩率,并且对整数进行二进制搜索比较快,所以多用户Geodatabase以4字节正整数存储坐标,其最大值为32位正整数所能表示的范围是21.4亿(2147483647),整数的范围称为空间域。在创建Geodatabase数据库时需要定义合适的比例系数。大的整数值将消耗大量的计算机物理内存,所以选定的比例系数最好不要大于必须的比例系数。空间域随坐标系的单位变化而变化。
比例系数和空间域之间成反比例关系,比例系数越大(存储单位越小),表达的空间域也越小。为了使目标数据都存储在系统中,需要谨慎地设置比例系数。将目标数据的宽度和高度较适中的数值乘以比例系数,如果结果小于21.4亿,则比例系数是合适的。
航空物探数据模型是为我国的航空物探行业数据建库设计的,它支持的空间数据的坐标范围为我国领土覆盖的海陆空间,最低纬度为赤道。根据概念设计的分析,航空物探数据模型采用的是地理坐标系,坐标系单位是度,基准是Beijing_1954,要求存储的坐标数据精度达到0.01m。在赤道处,赤道圆周长为40075694.6m,则每度弧长=40075694.6×100/360cm=11132137.389cm,即1cm对应8.983000883E-8°。所以,航空物探数据模型的比例系数取为8.98E-8,即存储单位为8.98E-8°,可满足1cm精度要求。
将空间域移动到目标数据范围之前,首先找到空间域在存储单位的中心位置,目的是在必要时向各个方向扩展。4字节正整数可表示的坐标范围:2147483647×8.98E-8=192.84。我国的领土范围是东经70°~140°,北纬0°~60°。所以,选取的比例系数是合适的。把空间域坐标系中心定为90°,然后,计算空间域的MinX、MinY。
MinX=((70+140)÷2)-90=15
MinY=((0+60)÷2)-90=-60
所以坐标的存储数据是:
X_Storage=(X-MinX)/8.98E-8
Y_Storage=(Y-MinY)/8.98E-8
9. cacti怎么将多个数据源合并成一个数据源
RRDtool是指RoundRobinDatabase工具(环状数据库)。Roundrobin是一种处理定量数据、以及当前元素指针的技术。想象一个周边标有点的圆环--这些点就是时间存储的位置。从圆心画一条到圆周的某个点的箭头--这就是指针。就像我们在一个圆环上一样,没有起点和终点,你可以一直往下走下去。过来一段时间,所有可用的位置都会被用过,该循环过程会自动重用原来的位置。这样,数据集不会增大,并且不需要维护。RRDtool用来处理RRD数据库。它用来向RRD数据库存储数据、从RRD数据库中提取数据。