开源数据库审计

‘壹’ 审计bd是什么

审计bd是一种面向文档的数据库（Nosql），它使用软件工程师熟悉的javascript对象文字表示法（JSON）作为存储数据的格式，允许直接的、动态的和高性能的数据存储。审计bd的官方说明是：“审计bd是一个灵活的、开源的数据库，它能够将数据存储在原生的结构中，并支持大量的查询功能和操作。”审计bd支持ACID事务，可扩展性和弹性，但它更适合处理非结构化数据。审计bd支持多种语言，比如C++、Java、Python、C#等，并且有一个可以在不同平台之间共享数据的API。

‘贰’ postgresql和mysql的区别

特性 MySQL PostgreSQL
实例 通过执行 MySQL 命令（mysqld）启动实例。一个实例可以管理一个或多个数据库。一台服务器可以运行多个 mysqld 实例。一个实例管理器可以监视 mysqld 的各个实例。
通过执行 Postmaster 进程（pg_ctl）启动实例。一个实例可以管理一个或多个数据库，这些数据库组成一个集群。集群是磁盘上的一个区域，这个区域在安装时初始化并由一个目录组成，所有数据都存储在这个目录中。使用 initdb 创建第一个数据库。一台机器上可以启动多个实例。
数据库 数据库是命名的对象集合，是与实例中的其他数据库分离的实体。一个 MySQL 实例中的所有数据库共享同一个系统编目。 数据库是命名的对象集合，每个数据库是与其他数据库分离的实体。每个数据库有自己的系统编目，但是所有数据库共享 pg_databases。
数据缓冲区 通过 innodb_buffer_pool_size 配置参数设置数据缓冲区。这个参数是内存缓冲区的字节数，InnoDB 使用这个缓冲区来缓存表的数据和索引。在专用的数据库服务器上，这个参数最高可以设置为机器物理内存量的 80%。 Shared_buffers 缓存。在默认情况下分配 64 个缓冲区。默认的块大小是 8K。可以通过设置 postgresql.conf 文件中的 shared_buffers 参数来更新缓冲区缓存。
数据库连接 客户机使用 CONNECT 或 USE 语句连接数据库，这时要指定数据库名，还可以指定用户 id 和密码。使用角色管理数据库中的用户和用户组。 客户机使用 connect 语句连接数据库，这时要指定数据库名，还可以指定用户 id 和密码。使用角色管理数据库中的用户和用户组。
身份验证 MySQL 在数据库级管理身份验证。 基本只支持密码认证。 PostgreSQL 支持丰富的认证方法：信任认证、口令认证、Kerberos 认证、基于 Ident 的认证、LDAP 认证、PAM 认证
加密 可以在表级指定密码来对数据进行加密。还可以使用 AES_ENCRYPT 和 AES_DECRYPT 函数对列数据进行加密和解密。可以通过 SSL 连接实现网络加密。 可以使用 pgcrypto 库中的函数对列进行加密/解密。可以通过 SSL 连接实现网络加密。
审计 可以对 querylog 执行 grep。 可以在表上使用 PL/pgSQL 触发器来进行审计。
查询解释 使用 EXPLAIN 命令查看查询的解释计划。 使用 EXPLAIN 命令查看查询的解释计划。
备份、恢复和日志 InnoDB 使用写前（write-ahead）日志记录。支持在线和离线完全备份以及崩溃和事务恢复。需要第三方软件才能支持热备份。 在数据目录的一个子目录中维护写前日志。支持在线和离线完全备份以及崩溃、时间点和事务恢复。 可以支持热备份。
JDBC 驱动程序 可以从 参考资料 下载 JDBC 驱动程序。 可以从 参考资料 下载 JDBC 驱动程序。
表类型 取决于存储引擎。例如，NDB 存储引擎支持分区表，内存引擎支持内存表。 支持临时表、常规表以及范围和列表类型的分区表。不支持哈希分区表。 由于PostgreSQL的表分区是通过表继承和规则系统完成了，所以可以实现更复杂的分区方式。
索引类型 取决于存储引擎。MyISAM：BTREE，InnoDB：BTREE。 支持 B-树、哈希、R-树和 Gist 索引。
约束 支持主键、外键、惟一和非空约束。对检查约束进行解析，但是不强制实施。 支持主键、外键、惟一、非空和检查约束。
存储过程和用户定义函数 支持 CREATE PROCEDURE 和 CREATE FUNCTION 语句。存储过程可以用 SQL 和 C++ 编写。用户定义函数可以用 SQL、C 和 C++ 编写。 没有单独的存储过程，都是通过函数实现的。用户定义函数可以用 PL/pgSQL（专用的过程语言）、PL/Tcl、PL/Perl、PL/Python 、SQL 和 C 编写。
触发器 支持行前触发器、行后触发器和语句触发器，触发器语句用过程语言复合语句编写。 支持行前触发器、行后触发器和语句触发器，触发器过程用 C 编写。
系统配置文件 my.conf Postgresql.conf
数据库配置 my.conf Postgresql.conf
客户机连接文件 my.conf pg_hba.conf
XML 支持 有限的 XML 支持。 有限的 XML 支持。
数据访问和管理服务器 OPTIMIZE TABLE —— 回收未使用的空间并消除数据文件的碎片
myisamchk -analyze —— 更新查询优化器所使用的统计数据（MyISAM 存储引擎）
mysql —— 命令行工具
MySQL Administrator —— 客户机 GUI 工具 Vacuum —— 回收未使用的空间
Analyze —— 更新查询优化器所使用的统计数据
psql —— 命令行工具
pgAdmin —— 客户机 GUI 工具
并发控制 支持表级和行级锁。InnoDB 存储引擎支持 READ_COMMITTED、READ_UNCOMMITTED、REPEATABLE_READ 和 SERIALIZABLE。使用 SET TRANSACTION ISOLATION LEVEL 语句在事务级设置隔离级别。 支持表级和行级锁。支持的 ANSI 隔离级别是 Read Committed（默认 —— 能看到查询启动时数据库的快照）和 Serialization（与 Repeatable Read 相似 —— 只能看到在事务启动之前提交的结果）。使用 SET TRANSACTION 语句在事务级设置隔离级别。使用 SET SESSION 在会话级进行设置。

MySQL相对于PostgreSQL的劣势：

MySQL
PostgreSQL

最重要的引擎InnoDB很早就由Oracle公司控制。目前整个MySQL数据库都由Oracle控制。
BSD协议，没有被大公司垄断。

对复杂查询的处理较弱，查询优化器不够成熟
很强大的查询优化器，支持很复杂的查询处理。

只有一种表连接类型:嵌套循环连接(nested-loop),不支持排序-合并连接(sort-merge join)与散列连接(hash join)。
都支持

‘叁’ 常见的数据库有哪些

问题一：常用的数据库软件有哪些？ SQL Server 是 Microsoft(微软) 的数据产品，它的易用性强！ Oracle 是 Oracle(甲骨文)公司的数据产品！号称世界上最好的数据系统！ DB2 是IBM公司的产品，在全球500强的企业中有80%是用DB2作为数据库平台的

问题二：常用数据库有哪些？他们有什么区别 开源的Mysql顶;PostgreSQL即开放源码的
商业的Oracle/SQL Server/DB2即收费的

问题三：什么是常用的三个数据库？ 目前，数据库管理系统关系型数据库为主导产品的商品化，技术相对成熟。虽然面向对象的数据库管理系统的先进技术，数据库易于开发，维护，但尚未成熟的产品。国际和国内领先的关系数据库管理系统，甲骨文，Sybase，Informix和INGRES。这些产品支持多种平台，如UNIX，VMS，Windows上，而不是同一级别的支持。和成熟的IBM的DB2关系数据库。但是，DB2是内嵌于IBM的AS/400系列机，只支持OS/400操作系统。
？1.MySQL
？MySQL是最受欢迎的开源SQL数据库管理系统，由MySQL AB公司，发布和支持。 MySQL AB是基于MySQL开发一个商业公司，它是利用与开源值相结合的一个成功的商业模式？和方法论的第二代开源公司。 MySQL是MySQL AB的注册商标。
？MySQL是一个快速，多线程，多用户和健壮的SQL数据库服务器。 MySQL服务器支持关键任务，重负载生产系统的使用，它可以嵌入到一个大配置（大规模部署）软件。
？的MySQL与其他数据库管理系统相比，具有以下优点：
？（1）MySQL是一个关系数据库管理系统。
？（2）MySQL是开源。
？（3）MySQL服务器是一个快速，可靠和易于使用的数据库服务器。
？（4）在MySQL服务器的客户机/服务器或嵌入式系统。
？（5）可以使用MySQL软件。
2.SQL Server的吗？
？SQL Server是由微软开发的数据库管理系统，是目前最流行的数据库，用于存储在网络上的数据，它已被广泛用于电子商务，银行，保险，电力和其他数据库相关的产业。
？SQL Server 2005的最新版本，它只能在Windows作业系统的稳定运行是非常重要的数据库。并行实施和共存模型并不成熟，这是很难对付越来越多的用户和数据量是有限的，可扩展性。
？SQL Server提供了网络和电子商务功能，如丰富的XML和Internet标准的支持，轻松且安全地通过Web访问的数据的范围很广，有一个强大，灵活和网络，基于安全和应用管理。此外，由于它的易用性和友好的用户界面，通过广大用户的好评，。
？3.Oracle
？提出的数据库，该公司首先想到的，通常是甲骨文（Oracle）。该公司成立于1977年，原是一个专门开发的数据库公司。甲骨文一直在数据库领域的领导者。 1984年，第一个关系数据库转移到一台台式电脑。然后，Oracle5率先推出的分布式数据库，客户机/服务器体系结构的新概念。甲骨文公司的第一行锁定模式和对称多处理计算机的支持......最新的Oracle对象技术，成为关系 - 对象数据库系统。目前，甲骨文的产品涵盖了几十个型号的大，中，小型机，Oracle数据库已成为世界上使用最广泛的关系数据。
Oracle数据库产品具有以下优良特性。
？（一）兼容性
？Oracle产品使用标准的SQL，和美国国家标准技术局（NIST）测试后。兼容IBM的SQL / DS，DB2中，安格尔的IDMS / R。
？（2）可移植性
？？甲骨文的产品，可以广泛的硬件和操作系统平台上运行。可以安装在超过70种大不同，VMS系统的DOS，UNIX上，Windows和其他操作系统，小型机;
？（3）协会
甲骨文与各种通信网络连接，支持各种协议（TCP / IP协议说，DECnet，LU6.2工作等）。？
？（4）高生产率
？Oracle提供了多种开发......>>

问题四：现在一般常用的数据库有哪几种啊 ？ MSSQL和MySQL两种 sqlserver即是常说的MSSQL, 是微软公司的产品,而MySQL不是,MySQL是一家叫MySQL AB的公司的开源产品,它是免费的,而且可以跨平台使用. MSSQL比较昂贵,一般只在Windows下使用.

问题五：常用大型数据库有哪些 FOXBASE
MYSQL
这俩可算不上大型数据库管理系统
PB 是数据库应用程序开发用的ide，根本就不是数据库管理系统
Foxbase是dos时代的产品了，进入windows时代改叫foxpro，属于桌面单机级别的小型数据库系统，mysql是个中轻量级的，但是开源，大量使用于小型网站，真正重量级的是Oracle和DB2，银行之类的关键行业用的多是这两个，微软的MS SQLServer相对DB2和Oracle规模小一些，多见于中小型企业单位使用，Sybase可以说是日薄西山，不行了

问题六：常见的数据库文件格式有哪些？ dbf dbase文件，一种由ashton-tate创建的格式，可以被act！、lipper、foxpro、arago、wordtech、xbase和类似数据库或与数据库有关产品识别，可用数据文件（能被excel 97打开），oracle 8.1.x表格空间文件；dba是access文件；nsf lotus notes数据库；mdf和ldf是sql server文件；2.另外你还有不少是软件开发者自己定义的数据库文件，大多采用dat,或者把dba转换为dat，由程序文件名转换处理。3.odb++是一种可扩展的ascii格式，它可在单个数据库中保存pcb制造和装配所必需的全部工程数据。是能把多种数据格式数据库连接起来的桥梁，是一种双向格式，允许数据上行和下传。

问题七：常见的数据库应用系统有哪些？ 现在极大多的企业级软件都是基于数据库的。

比如：
ERP： 企业资源管理计划
CRM： 客户关系管理
OA： 办公自动化。
12306铁道部的网上订票系统。
。。。

问题八：常用的数据库软件有哪些 1）MYSQL：
MySQL是由MySQL AB开发、发布和支持，是一个快速的、多线程、多用户和健壮的SQL数据库服务器，是目前最受欢迎的开源SQL数据库管理系统。MySQL
AB是一家基于MySQL开发人员的商业公司，它是一家使用了一种成功的商业模式来结合开源价值和方法论的第二代开源公司。MySQL是MySQL
AB的注册商标。MySQLMySQL服务器支持关键任务、重负载生产系统的使用，也可以将它嵌入到一个大配置(mass-
deployed)的软件中去。
2）ACCESS：
ACCESS是系统自带的一种关系式数据库，与空间共存不需要单独开设。关系式数据库由一系列表组成，表又由一系列行和列组成，每一行是一个记录，每一列是一个字段，每个字段有一个字段名，字段名在一个表中不能重复。Access数据库以文件形式保存，文件的扩展名是MDB，作为开发网站常用的数据库，Access数据库一般搭配ASP程序使用。当数据库过大的时候可以转换为MSSQL数据库使用，二者可以进行转换。
3）MSSQL：
SQL Server也是微软公司出品的，它是一个数据库平台，提供数据库的从服务器到终端的完整的解决方案，其中数据库服务器部分，是一个数据库管理系统，用于建立、使用和维护数据库。
MSSQL特点：数据承载量比较大，存储数据速度快，稳定性强，适用于中小型企业开发网站和办公系统常用的数据库。
4）Oracle：
Oracle公司是全球最大的信息管理软件及服务供应商，成立于1977年，总部位于美国加州 Redwood
shore。Oracle的软件可运行在PC、工作站、小型机、主机、大规模的并行计算机，以及PDA等各种计算设备上，随着越来越多的企业将自己转向电子商务，Oracle的具有强大的电子商务能力的解决方案，为企业提供高效率的扩展市场的手段，并提高工作效率和吸引更多的客户。Oracle提供的完整的电子商务产品和服务包括：用于建立和交付基于Web的Internet平台；
综合、全面的具有Internet能力的商业应用；强大的专业服务，帮助用户实施电子商务战略，以及设计、定制和实施各种电子商务解决方案。

问题九：常见的数据库管理系统有哪些？它们各自有什么特点？ 1. IBM 的DB2作为关系数据库领域的开拓者和领航人，IBM在1977年完成了System R系统的原型，1980年开始提供集成的数据库服务器―― System/38，随后是SQL/DSforVSE和VM，其初始版本与SystemR研究原型密切相关。DB2 forMVSV1 在1983年推出。该版本的目标是提供这一新方案所承诺的简单性，数据不相关性和用户生产率。1988年DB2 for MVS 提供了强大的在线事务处理（OLTP）支持，1989 年和1993 年分别以远程工作单元和分布式工作单元实现了分布式数据库支持。最近推出的DB2 Universal Database 6.1则是通用数据库的典范，是第一个具备网上功能的多媒体关系数据库管理系统，支持包括Linux在内的一系列平台。2. OracleOracle 前身叫SDL，由Larry Ellison 和另两个编程人员在1977创办，他们开发了自己的拳头产品，在市场上大量销售，1979 年，Oracle公司引入了第一个商用SQL 关系数据库管理系统。Oracle公司是最早开发关系数据库的厂商之一，其产品支持最广泛的操作系统平台。目前Oracle关系数据库产品的市场占有率名列前茅。3. InformixInformix在1980年成立，目的是为Unix等开放操作系统提供专业的关系型数据库产品。公司的名称Informix便是取自Information 和Unix的结合。Informix第一个真正支持SQL语言的关系数据库产品是Informix SE（StandardEngine）。InformixSE是在当时的微机Unix环境下主要的数据库产品。它也是第一个被移植到Linux上的商业数据库产品。4. SybaseSybase公司成立于1984年，公司名称“Sybase”取自“system”和“database” 相结合的含义。Sybase公司的创始人之一Bob Epstein 是Ingres 大学版（与System/R同时期的关系数据库模型产品）的主要设计人员。公司的第一个关系数据库产品是1987年5月推出的Sybase SQLServer1.0。Sybase首先提出Client/Server 数据库体系结构的思想，并率先在Sybase SQLServer 中实现。5. SQL Server1987 年，微软和IBM合作开发完成OS/2，IBM 在其销售的OS/2 ExtendedEdition 系统中绑定了OS/2Database Manager，而微软产品线中尚缺少数据库产品。为此，微软将目光投向Sybase，同Sybase 签订了合作协议，使用Sybase的技术开发基于OS/2平台的关系型数据库。1989年，微软发布了SQL Server 1.0 版。6. PostgreSQLPostgreSQL 是一种特性非常齐全的自由软件的对象――关系性数据库管理系统（ORDBMS），它的很多特性是当今许多商业数据库的前身。PostgreSQL最早开始于BSD的Ingres项目。PostgreSQL 的特性覆盖了SQL-2/SQL-92和SQL-3。首先，它包括了可以说是目前世界上最丰富的数据类型的支持；其次，目前PostgreSQL 是唯一支持事务、子查询、多版本并行控制系统、数据完整性检查等特性的唯一的一种自由软件的数据库管理系统.7.mySQLmySQL是一个小型关系型......>>

问题十：常用的数据库安全技术有哪些 数据库的安全性是指保护数据库以防止不合法的使用所造成的数据泄露、更改或破坏。
安全性问题不是数据库系统所独有的，所有计算机系统都有这个问题。只是在数据库系统中大量数据集中存放，而且为许多最终用户直接共享，从而使安全性问题更为突出。 系统安全保护措施是否有效是数据库系统的主要指标之一。 数据库的安全性和计算机系统的安全性，包括操作系统、网络系统的安全性是紧密联系、相互支持的。
实现数据库安全性控制的常用方法和技术有：
(1)用户标识和鉴别：该方法由系统提供一定的方式让用户标识自己咱勺名字或身份。每次用户要求进入系统时，由系统进行核对，通过鉴定后才提供系统的使用权。
(2)存取控制：通过用户权限定义和合法权检查确保只有合法权限的用户访问数据库，所有未被授权的人员无法存取数据。例如C2级中的自主存取控制(I)AC)，Bl级中的强制存取控制(M．AC)。
(3)视图机制：为不同的用户定义视图，通过视图机制把要保密的数据对无权存取的用户隐藏起来，从而自动地对数据提供一定程度的安全保护。
(4)审计：建立审计日志，把用户对数据库的所有操作自动记录下来放人审计日志中，DBA可以利用审计跟踪的信息，重现导致数据库现有状况的一系列事件，找出非法存取数据的人、时间和内容等。
(5)数据加密：对存储和传输的数据进行加密处理，从而使得不知道解密算法的人无法获知数据的内容。

‘肆’ 国内重要的 Go 语言项目：TiDB 3.0 GA，稳定性和性能大幅提升

TiDB 是 PingCAP 自主研发的开源分布式关系型数据库，具备商业级数据库的数据可靠性，可用性，安全性等特性，支持在线弹性水平扩展，兼容 MySQL 协议及生态，创新性实现 OLTP 及 OLAP 融合。

TiDB 3.0 版本显着提升了大规模集群的稳定性，集群支持 150+ 存储节点，300+TB 存储容量长期稳定运行。易用性方面引入大量降低用户运维成本的优化，包括引入 Information_Schema 中的多个实用系统视图、EXPLAIN ANALYZE、SQL Trace 等。在性能方面，特别是 OLTP 性能方面，3.0 比 2.1 也有大幅提升，其中 TPC-C 性能提升约 4.5 倍，Sysbench 性能提升约 1.5 倍，OLAP 方面，TPC-H 50G Q15 因实现 View 可以执行，至此 TPC-H 22 个 Query 均可正常运行。新功能方面增加了窗口函数、视图（实验特性）、分区表、插件系统、悲观锁（实验特性）。

截止本文发稿时 TiDB 已在 500+ 用户的生产环境中长期稳定运行，涵盖金融、保险、制造，互联网， 游戏 等领域，涉及交易、数据中台、 历史 库等多个业务场景。不同业务场景对关系型数据库的诉求可用 “百花齐放”来形容，但对关系数据库最根本的诉求未发生任何变化，如数据可靠性，系统稳定性，可扩展性，安全性，易用性等。请跟随我们的脚步梳理 TiDB 3.0 有什么样的惊喜。

3.0 与 2.1 版本相比，显着提升了大规模集群的稳定性，支持单集群 150+ 存储节点，300+TB 存储容量长期稳定运行，主要的优化点如下：

1. 优化 Raft 副本之间的心跳机制，按照 Region 的活跃程度调整心跳频率，减小冷数据对集群的负担。

2. 热点调度策略支持更多参数配置，采用更高优先级，并提升热点调度的准确性。

3. 优化 PD 调度流程，提供调度限流机制，提升系统稳定性。

4. 新增分布式 GC 功能，提升 GC 的性能，降低大集群 GC 时间，提升系统稳定性。

众所周知，数据库查询计划的稳定性对业务至关重要，TiDB 3.0 版本采用多种优化手段提升查询计划的稳定性，如下：

1. 新增 Fast Analyze 功能，提升收集统计信息的速度，降低集群资源的消耗及对业务的影响。

2. 新增 Incremental Analyze 功能，提升收集单调递增的索引统计信息的速度，降低集群资源的消耗及对业务的影响。

3. 在 CM-Sketch 中新增 TopN 的统计信息，缓解 CM-Sketch 哈希冲突导致估算偏大，提升代价估算的准确性，提升查询计划的稳定性。

4. 引入 Skyline Pruning 框架，利用规则防止查询计划过度依赖统计信息，缓解因统计信息滞后导致选择的查询计划不是最优的情况，提升查询计划的稳定性。

5. 新增 SQL Plan Management 功能，支持在查询计划不准确时手动绑定查询计划，提升查询计划的稳定性。

1. OLTP

3.0 与 2.1 版本相比 Sysbench 的 Point Select，Update Index，Update Non-Index 均提升约 1.5 倍，TPC-C 性能提升约 4.5 倍。主要的优化点如下：

1. TiDB 持续优化 SQL 执行器，包括：优化 NOT EXISTS 子查询转化为 Anti Semi Join，优化多表 Join 时 Join 顺序选择等。

2. 优化 Index Join 逻辑，扩大 Index Join 算子的适用场景并提升代价估算的准确性。

3. TiKV 批量接收和发送消息功能，提升写入密集的场景的 TPS 约 7%，读密集的场景提升约 30%。

4. TiKV 优化内存管理，减少 Iterator Key Bound Option 的内存分配和拷贝，多个 Column Families 共享 block cache 提升 cache 命中率等手段大幅提升性能。

5. 引入 Titan 存储引擎插件，提升 Value 值超过 1KB 时性能，缓解 RocksDB 写放大问题，减少磁盘 IO 的占用。

6. TiKV 新增多线程 Raftstore 和 Apply 功能，提升单节点内可扩展性，进而提升单节点内并发处理能力和资源利用率，降低延时，大幅提升集群写入能力。

TiDB Lightning 性能与 2019 年年初相比提升 3 倍，从 100GB/h 提升到 300GB/h，即 28MB/s 提升到 85MB/s，优化点，如下：

1. 提升 SQL 转化成 KV Pairs 的性能，减少不必要的开销。

2. 提升单表导入性能，单表支持批量导入。

3. 提升 TiKV-Importer 导入数据性能，支持将数据和索引分别导入。

4. TiKV-Importer 支持上传 SST 文件限速功能。

RBAC（Role-Based Access Control，基于角色的权限访问控制） 是商业系统中最常见的权限管理技术之一，通过 RBAC 思想可以构建最简单“用户-角色-权限”的访问权限控制模型。RBAC 中用户与角色关联，权限与角色关联，角色与权限之间一般是多对多的关系，用户通过成为什么样的角色获取该角色所拥有的权限，达到简化权限管理的目的，通过此版本的迭代 RBAC 功能开发完成。

IP 白名单功能（企业版特性） ：TiDB 提供基于 IP 白名单实现网络安全访问控制，用户可根据实际情况配置相关的访问策略。

Audit log 功能（企业版特性） ：Audit log 记录用户对数据库所执行的操作，通过记录 Audit log 用户可以对数据库进行故障分析，行为分析，安全审计等，帮助用户获取数据执行情况。

加密存储（企业版特性） ：TiDB 利用 RocksDB 自身加密功能，实现加密存储的功能，保证所有写入到磁盘的数据都经过加密，降低数据泄露的风险。

完善权限语句的权限检查 ，新增 ANALYZE，USE，SET GLOBAL，SHOW PROCESSLIST 语句权限检查。

1. 新增 SQL 方式查询慢查询，丰富 TiDB 慢查询日志内容，如：Coprocessor 任务数，平均/最长/90% 执行/等待时间，执行/等待时间最长的 TiKV 地址，简化慢查询定位工作，提高排查慢查询问题效率，提升产品易用性。

2. 新增系统配置项合法性检查，优化系统监控项等，提升产品易用性。

3. 新增对 TableReader、IndexReader 和 IndexLookupReader 算子内存使用情况统计信息，提高 Query 内存使用统计的准确性，提升处理内存消耗较大语句的效率。

4. 制定日志规范，重构日志系统，统一日志格式，方便用户理解日志内容，有助于通过工具对日志进行定量分析。

5. 新增 EXPLAIN ANALYZE 功能，提升SQL 调优的易用性。

6. 新增 SQL 语句 Trace 功能，方便排查问题。

7. 新增通过 unix_socket 方式连接数据库。

8. 新增快速恢复被删除表功能，当误删除数据时可通过此功能快速恢复数据。

TiDB 3.0 新增 TiFlash 组件，解决复杂分析及 HTAP 场景。TiFlash 是列式存储系统，与行存储系统实时同步，具备低延时，高性能，事务一致性读等特性。 通过 Raft 协议从 TiKV 中实时同步行存数据并转化成列存储格式持久化到一组独立的节点，解决行列混合存储以及资源隔离性问题。TiFlash 可用作行存储系统（TiKV）实时镜像，实时镜像可独立于行存储系统，将行存储及列存储从物理隔离开，提供完善的资源隔离方案，HTAP 场景最优推荐方案；亦可用作行存储表的索引，配合行存储对外提供智能的 OLAP 服务，提升约 10 倍复杂的混合查询的性能。

TiFlash 目前处于 Beta 阶段，计划 2019 年 12 月 31 日之前 GA，欢迎大家申请试用。

未来我们会继续投入到系统稳定性，易用性，性能，弹性扩展方面，向用户提供极致的弹性伸缩能力，极致的性能体验，极致的用户体验。

稳定性方面 V4.0 版本将继续完善 V3.0 未 GA 的重大特性，例如：悲观事务模型，View，Table Partition，Titan 行存储引擎，TiFlash 列存储引擎；引入近似物理备份恢复解决分布数据库备份恢复难题；优化 PD 调度功能等。

性能方面 V4.0 版本将继续优化事务处理流程，减少事务资源消耗，提升性能，例如：1PC，省去获取 commit ts 操作等。

弹性扩展方面，PD 将提供弹性扩展所需的元信息供外部系统调用，外部系统可根据元信息及负载情况动态伸缩集群规模，达成节省成本的目标。

我们相信战胜“未知”最好的武器就是社区的力量，基础软件需要坚定地走开源路线。截止发稿我们已经完成 41 篇源码阅读文章。TiDB 开源社区总计 265 位 Contributor，6 位 Committer，在这里我们对社区贡献者表示由衷的感谢，希望更多志同道合的人能加入进来，也希望大家在 TiDB 这个开源社区能够有所收获。

TiDB 3.0 GA Release Notes： https://pingcap.com/docs-cn/v3.0/releases/3.0-ga/

‘伍’ 海云安源代码审计服务有什么优势吗

现在大部分客户对于软件开发的安全考量基本集中在软件开发的后期，在测试阶段引入。常用的软件风险评估、漏洞扫描、渗透测试等都是在软件开发完成后进行。通常这个阶段预留的时间非常少，不仅修复的难度高，修复、测试的成本极高，而且存在大量的漏洞错报和误报的情况。后期的测试手段也无法精准地测试出代码漏洞的具体位置。当通过后期测试发现问题后，人工进行代码审查去查找漏洞所在代码位置时，我们经常会发现过程中存在效率低、准确率低、无法定位具体问题代码行等问题。而这些问题导致了客户后期发现系统漏洞时，无法进行快速、准确地修复，客户只能让系统携带漏洞上线。SCAP产品将从开发早期进行安全介入，能够快速精准地定位问题代码行，对漏洞进行实时管理，完美地解决上述问题，从源代码级别保护系统的代码安全。

Why SCAP？

海云安源代码分析管理平台（以下简称“SCAP”）是由深圳海云安网络安全技术有限公司多年源代码安全实践经验自主研发的源代码安全漏洞检查及分析管理平台。SCAP拥有领先行业的源代码检测引擎，强大的用户环境集成能力和完善的管理流程使得产品拥有强大的实用性。SCAP为开发人员提供简单、方便、精准、快速的源代码漏洞检查，极大地减少开发人员在查找、修复漏洞上花费的时间，提高安全效率。强大精准的代码检测引擎使得SCAP成为市场上现有源代码安全最强有力的工具。

▲ 产品架构

SCAP产品优势

• 业内顶尖的检测能力：涵盖代码缺陷，质量，木马后门等检测，涵盖2000+种缺陷类型

• 自主研发，安全可控：SCAP产品是海云安 100% 自主研发，具有自主知识产权，符合国家信息安全产品“自主、可控”的要求

• 强大的规则库：结合多年的服务经验以及AI人工智能算法，形成了领先业内的规则库和漏洞库

• 功能强大，灵活部署：SCAP产品拥有强大全面的检测能力，同时在易用、实用方面也广泛受用户好评。产品还可实现对软件安全开发生命周期的全面支持，方便用户使用