sql优化顾问
A. sql执行与优化
SQL优化
执行计划,表关联查询顺序,优化策略与思路
下面再向前走一些，容我根据自己的认识说一下查询执行的流程是怎样的：
1.连接
1.1客户端发起一条Query请求，监听客户端的‘连接管理模块’接收请求
1.2将请求转发到‘连接进/线程模块’
1.3调用‘用户模块’来进行授权检查
1.4通过检查后，‘连接进/线程模块’从‘线程连接池’中取出空闲的被缓存的连接线程和客户端请求对接，如果失败则创建一个新的连接请求
2.处理
2.1先查询缓存，检查Query语句是否完全匹配，接着再检查是否具有权限，都成功则直接取数据返回
2.2上一步有失败则转交给‘命令解析器’，经过词法分析，语法分析后生成解析树
2.3接下来是预处理阶段，处理解析器无法解决的语义，检查权限等，生成新的解析树
2.4再转交给对应的模块处理
2.5如果是SELECT查询还会经由‘查询优化器’做大量的优化，生成执行计划
2.6模块收到请求后，通过‘访问控制模块’检查所连接的用户是否有访问目标表和目标字段的权限
2.7有则调用‘表管理模块’，先是查看table cache中是否存在，有则直接对应的表和获取锁，否则重新打开表文件
2.8根据表的meta数据，获取表的存储引擎类型等信息，通过接口调用对应的存储引擎处理
2.9上述过程中产生数据变化的时候，若打开日志功能，则会记录到相应二进制日志文件中
3.结果
3.1Query请求完成后，将结果集返回给‘连接进/线程模块’
3.2返回的也可以是相应的状态标识，如成功或失败等
3.3‘连接进/线程模块’进行后续的清理工作，并继续等待请求或断开与客户端的连接
接下来再走一步，让我们看看一条SQL语句的前世今生。
首先看一下示例语句
示例语句
执行顺序
SQL解析
1. FROM
当涉及多个表的时候，左边表的输出会作为右边表的输入，之后会生成一个虚拟表VT1。
(1-J1)笛卡尔积
计算两个相关联表的笛卡尔积(CROSS JOIN) ，生成虚拟表VT1-J1。
两次全表扫描
哈希索引,查找复杂度都是 O(1) 。
2. WHERE
对VT1过程中生成的临时表进行过滤，满足WHERE子句的列被插入到VT2表中。
注意：
此时因为分组，不能使用聚合运算；也不能使用SELECT中创建的别名；
与ON的区别：
如果有外部列，ON针对过滤的是关联表，主表（保留表）会返回所有的列；
如果没有添加外部列，两者的效果是一样的；
应用：
对主表的过滤应该放在WHERE；
对于关联表，先条件查询后连接则用ON，先连接后条件查询则用WHERE；
hash join 哈希连接 驱动表和被驱动表都只会访问0次或1次
应用场景:一个大表一个小表/表上没有索引/返回结果集比较大
3. GROUP BY
这个子句会把VT2中生成的表按照GROUP BY中的列进行分组。生成VT3表。
注意：
其后处理过程的语句，如SELECT,HAVING，所用到的列必须包含在GROUP BY中，对于没有出现的，得用聚合函数；
原因：
GROUP BY改变了对表的引用，将其转换为新的引用方式，能够对其进行下一级逻辑操作的列会减少；
原作者的理解是：
根据分组字段，将具有相同分组字段的记录归并成一条记录，因为每一个分组只能返回一条记录，除非是被过滤掉了，而不在分组字段里面的字段可能会有多个值，多个值是无法放进一条记录的，所以必须通过聚合函数将这些具有多值的列转换成单值；
GROUP BY 重新聚合查询
4. HAVING
这个子句对VT3表中的不同的组进行过滤，只作用于分组后的数据，满足HAVING条件的子句被加入到VT4表中。
7.LIMIT
LIMIT子句从上一步得到的VT6虚拟表中选出从指定位置开始的指定行数据。
注意：
offset和rows的正负带来的影响；
当偏移量很大时效率是很低的，可以这么做：
采用子查询的方式优化，在子查询里先从索引获取到最大id，然后倒序排，再取N行结果集
采用INNER JOIN优化，JOIN子句里也优先从索引获取ID列表，然后直接关联查询获得最终结果
当前未用到索引,
三次full scan , table1 AS a / table2 AS b / GROUP BY
尽量少做重复的工作
控制同一语句的多次执/减少多次的数据转换/
杜绝不必要的子查询和连接表，子查询在执行计划一般解释成外连接，多余的连接表带来额外的开销
关于临时表和表变量的选择
临时表产生使用SELECT INTO和CREATE TABLE + INSERT INTO的选择，一般情况下，SELECT INTO会比CREATE TABLE + INSERT INTO的方法快很多，但是SELECT INTO会锁定TEMPDB的系统表SYSOBJECTS、SYSINDEXES、SYSCOLUMNS，在多用户并发环境下，容易阻塞其他进程，所以建议，在并发系统中，尽量使用CREATE TABLE + INSERT INTO，而大数据量的单个语句使用中，使用SELECT INTO。
子查询的用法
相关子查询可以用IN、NOT IN、EXISTS、NOT EXISTS引入
NOT IN、NOT EXISTS的相关子查询可以改用LEFT JOIN代替写法
如果保证子查询没有重复 ，IN、EXISTS的相关子查询可以用INNER JOIN 代替
IN``的相关子查询用EXISTS代替
不要用 COUNT (*)的子查询判断是否存在记录，最好用 LEFT` `JOIN 或者EXISTS，比如有人写这样的语句：
建立索引后，并不是每个查询都会使用索引，在使用索引的情况下，索引的使用效率也会有很大的差别。只要我们在查询语句中没有强制指定索引，
不要对索引字段进行运算，而要想办法做变换
不要对索引字段进行格式转换
不要对索引字段使用函数
不要对索引字段进行多字段连接
join关联查询的计算是很复杂的，特别是数据量比较大的情况下，实际情况还是拆解较快的
Join拆解的核心就是利用In关键字
要么用空间换时间，要么用时间换空间
多表连接的连接条件对索引的选择有着重要的意义，所以我们在写连接条件条件的时候需要特别注意。
A、多表连接的时候，连接条件必须写全，宁可重复，不要缺漏。
B、连接条件尽量使用聚集索引
C、注意ON、WHERE和HAVING部分条件的区别
ON是最先执行， WHERE次之，HAVING最后，因为ON是先把不符合条件的记录过滤后才进行统计，它就可以减少中间运算要处理的数据，按理说应该速度是最快的，WHERE也应该比 HAVING快点的，因为它过滤数据后才进行SUM，在两个表联接时才用ON的，所以在一个表的时候，就剩下WHERE跟HAVING比较了
考虑联接优先顺序：
(1)INNER JOIN
(2)LEFT JOIN (注：RIGHT JOIN 用 LEFT JOIN 替代)
(3)CROSS JOIN
索引并不适用于所有情况：a.少量数据；b.频繁进行改动的字段，不适合做索引；c.很少使用的字段，不需要加索引
索引会提高数据查询效率，但是会降低“增、删、改”的效率。当不使用索引的时候，我们进行数据的增删改，只需要操作源表即可，但是当我们添加索引后，不仅需要修改源表，也需要再次修改索引，很麻烦。
先执行顺序, 是否走索引, 有无类型转换
18000 字的SQL优化大全
步步深入：MySQL架构总览->查询执行流程->SQL解析顺序
MySQL索引总结（4）——btree与hash区别
B. 如何进行SQL性能优化
这里分享下mysql优化的几种方法。
1、首先在打开的软件中，需要分别为每一个表创建 InnoDB FILE的文件。
C. 怎样进行sql数据库的优化
1、数据库空间是个概述，在sqlserver里，使用语句 exec sp_spaceused 'TableName' 这个语句来查。
D. 开发中，SQL语句优化有哪些方法
看你数据库类型和框架是否支持。
一般开发中遇到慢SQL存在3个问题（索引健全的情况下）。
数据量多导致总行数慢，因为数据在不归档、迁移、转总账的情况下会不断积压。权限越高看见的数据量就越大，数据量越大总行数就越高。一般框架是以分页的SQL为基础计算总行数的。这样就会导致扫描行数高物理读高查询速度慢。优化方案就是总行数进行状态归档，以归档+实时的方式展现出来
连表超过多，部分数据表是单独的，但是不同部门的数据又有关联性，领导要看全生命周期或者流程数据的情况下必须多表相连。这样由于N个明细表导致笛卡儿积先不说，逻辑复杂连表多会消耗CPU，哪怕你查询能500毫秒内显示但是如果多人同时查就让CPU超100%甚至做成锁等待等堵塞。这个情况就是要用类似“云计算”的分布式计算。通过触发器、存储过程等规定时间内吧业务表数据计算好并写到展示表中，直接通过展示表进行关联，这样锁表也于业务表无关，关联表也能变少达到减少CPU消耗的目的。
iops与cpu占比高导致数据库瘫痪。第2点看出如果CPU高数据库全SQL都会慢，IOPS也一样。SQL慢会导致事务中的查询慢，解放事务变慢了其他查询就会锁等待状态变成堵塞。所以遇到大规模的查询是否先查主键然后通过游标一个一个计算再进临时表。这个是消耗时间和内存换CPU和IOPS的一个例子。反正服务器资源最高怎样开发应该是了解的，如何管制资源之间的平衡这个很重要。
举个例子，部分MYSQL框架喜欢一次性把数据库都导出来，然后减少子查询，这个算法针对有效的基础数据这样是可行的。针对业务数据应该没人会用，但是基础数据中也可能会存在海量的情况，比如坐标轨迹、省市区、电话号码归属等。如果无脑应用这个框架会导致查询起来很慢。
E. 请问SQL语句优化的策略都有哪些
●
创建表的时候。应尽量建立主键,根据主键查询数据；
●
大数据表删除，用truncate
table代替delete。
●
合理使用索引，在OLTP应用中一张表的索引不要太多。组合索引的列顺序尽量与查询条件列顺序保持一致；对于数据操作频繁的表，索引需要定期重建，以减少失效的索引和碎片。
●
查询尽量用确定的列名，少用*号。
尽量少嵌套子查询，这种查询会消耗大量的CPU资源；对于有比较多
or运算的查询，建议分成多个查询，用union
all联结起来；多表查询
的查询语句中，选择最有效率的表名顺序(基于规则的优化器中有效)。Oracle解析器对表解析从右到左，所以记录少的表放在右边。
●
尽量多用commit语句提交事务，可以及时释放资源、解
锁、释放日志空间、减少管理花费；在频繁的、性能要求比较高的
数据操作中，尽量避免远程访问，如数据库链等，访问频繁的表可以常驻内存：alter
table．．．cache；
F. 数据库引擎优化顾问不支持SQL express
你安装的是 SQL Express ，这个版本是简化版，没有引擎优化顾问的组件，建议去重新下载个完整版
G. 如何使用Microsoft SQL Server Management Studio优化数据库
简单的优化一下数据库。
一、启动 microsoft sql server management studio(就是sql的管理工具）
二、工具->sql server PRofiler
三、sql server profiler->文件->新建跟踪 ->运行
时间长一点，点停止 然后保存这个跟踪
sql server profiler->文件->保存->取个名字。
详细查看：
如何创建跟踪 (SQL Server Profiler)
http://technet.microsoft.com/zh-cn/library/ms175047.aspx
四、sql server profiler->工具-数据库引擎优化顾问
工作负荷 选择刚才保存的文件。
H. 如何进行SQL性能优化
这里分享下mysql优化的几种方法。
1、首先在打开的软件中，需要分别为每一个表创建 InnoDB FILE的文件。
I. SQL Server2005数据库引擎优化顾问不支持SQL Express
你连接数据库实例的时候连到装VS时候自带的sql express版本了，那是个免费的sql server教学版，很多特性不支持的。
检查一下你的数据库连接吧~
J. 怎么使用sql server 2008数据库引擎优化顾问
确定您希望
数据库引擎
优化顾问在
分析过程
中考虑添加、删除或保留的数据库功能（索引、索引视图、分区）。有关详细信息，请参阅
关于工作负荷和使用数据库引擎优化顾问的注意事项。
创建工作负荷。有关详细信息，请参阅
启动数据库引擎优化顾问，并登录到
MicrosoftSQL
Server
实例。有关详细信息，请参阅
启动数据库引擎优化顾问。在“常规”
选项卡
上，在
“会话名称”
中键入一个名称以创建新的优化会话。
选择一个“工作负荷文件”或“表”
，然后在相邻的
文本框
中键入文件的路径或表的名称。
指定表的格式为
database_name.schema_name.table_name
若要搜索工作负荷文件或表，请单击“浏览”按钮。
数据库引擎优化顾问假定工作负荷文件是滚动更新文件。有关滚动更新文件的详细信息，请参阅
限制
跟踪文件
和表的大小。
使用跟踪表作为工作负荷时，该表必须存在于数据库引擎优化顾问正在优化的同一台服务器上。如果您创建的跟踪表在其他服务器上，则必须将其移到数据库引擎优化顾问准备优化的服务器上才能用作工作负荷。
选择要对其运行在步骤
5
中选择的工作负荷的数据库和表。若要选择表，请单击“所选表”箭头。
选中“保存优化日志”
以保存优化日志的副本。如果不希望保存优化日志的副本，请清除该
复选框
。
在分析之后，可以通过打开会话并选择“进度”选项卡来查看优化日志。
单击“优化选项”
选项卡，从列出的选项中进行选择。有关详细信息，请参阅
可用的优化选项。
单击工具栏中的
“开始分析”按钮。
如果希望停止已经启动的优化会话，请在“操作”菜单上选择以下选项之一：选择“停止分析(并提供建议)”
将停止优化会话，并提示您选择是否希望数据库引擎优化顾问根据目前已完成的分析来生成建议。选择“停止分析”
将停止优化会话而不生成任何建议。