mysql性能优化

阅读量：5793 次

发布时间：2019-06-18

本文共 21901 字，大约阅读时间需要 73 分钟。

　　性能优化是通过某些有效的方法来提高MySQL的运行速度，减少占用的磁盘空间。性能优化包含很多方面，例如优化查询速度，优化更新速度和优化MySQL服务器等。本文介绍方法的主要有：

优化查询

优化数据库结构

优化MySQL服务器

　　数据库管理人员可以使用SHOW STATUS语句来查询MySQL数据库的性能。语法：SHOW STATUE LIKE ‘value’；其中value参数是常用的几个统计参数。

Connections：连接MySQL服务器的次数

Uptime：MySQL服务器的上线时间；

Slow_queries：慢查询的次数；

Com_select：查询操做的次数；

Com_insert：插入操作的次数；

Com_delete：删除操作的次数；

Com_update：更新操作的次数；

1优化查询

查询操作是最频繁的操作，提高了查询速度可以有效提高MySQL数据库的性能。

首先要对查询语句进行分析，分析查询语句的命令是EXPLAIN语句和DESCRIBE语句。比如 EXPLAIN SELECT * FROM student \G；

索引可以快速定位表中的某条记录。使用索引也可以提高数据库查询的速度，从而提高数据库的性能。如果不使用索引，查询语句将表中的所有字段。这样查询的速度会很慢。如果使用了索引，查询语句只会查询索引字段。这样就减少查询的记录数，达到提高查询效率的目的。

现在看一个查询语句中没有索引的使用情况：

SELECT * FROM student WHERE name = ‘张三’；这样会对student表中的所有数据都查询一下，对比一下name的字段是否是张三。

然后我们在name字段上建立一个名为index_name的索引：

CREATE INDEX index_name ON student（name）；

现在name字段上面已经有索引了，再进行该select语句查询的速度就非常快了，不需要遍历整个表。

但是有些时候即使查询时使用的是索引，但索引并没有起作用。比如使用了LIKE关键字进行查询时，如果匹配字符串的第一个字符为‘%’，索引不会被使用。如果‘%’不是在第一个位置，索引就会被使用。

另一种情况是在表的多个字段上创建一个索引，比如

CREATE INDEX index ON student（birth，department）；这样只有查询语句条件中使用字段name时，索引才会被用到。因为name字段是多列索引的第一个字段，只有查询条件中使用了name字段才会使索引index起作用。

2优化子查询

很多查询中需要使用子查询。子查询可以使查询语句很灵活，但子查询的执行效率不高。MySQL需要为内层查询语句的查询结果建立一个临时表。然后外层查询语句在临时表中查询记录。查询完毕后，MySQL需要插销这些临时表。所以在MySQL中可以使用连接查询来代替子查询。连接查询不需要建立临时表，其速度比子查询要快。

3优化数据库结构

1将字段很多的表分解成多个表

有些表在设计时设置了很多的字段。但是这个表中的有些字段的使用频率很低。当这个表的数据量很大时，查询数据的速度就会很慢。对于这种字段特别多的并且有字段的使用频率不高的表，就可以将其分解成多个表。

2增加中间表

有时需要经常查询某两个表中的几个字段。如果经常进行联表查询，就会降低MySQL数据库的查询速度。对于这种情况可以建立中间表来提高查询速度。

先分析经常需要同时查询那几个表中的那些字段。然后将这些字段建立一个中间表，并将原来那几个表的数据插入到中间表中，之后就可以使用中间表来进行查询和统计了。

3增加冗余字段

设计数据库表时尽量让表达到三范式。但是，有时为了提高查询速度，可以有意识的在表中增加冗余字段。表的规范程度越高，表与表之间的关系就越多，查询时可能经常需要在多个表之间进行连接查询，而进行连接查询会降低查询速度。比如，学生的信息存储在student表中，院系的信息存储在department 表中，通过student表中的dept_id字段与department表建立关联关系。如果要查询一个学生所在系的名称，必须从student表中拿到dept_id字段，然后根据这个编号去department表中查找系的名称。如果需要经常需要进行这个操作的话，连接查询会浪费很多时间。因此可以在student表中增加一个冗余字段dept_name，这样就不用每次都进行连接查询了。其实就是一切以业务为主。

4优化插入记录的速度

插入记录时，索引和唯一性校验都会影响到插入记录的速度。而且，一次插入多条记录和多次插入一条记录所消耗的时间是不一样的。根据这些情况，分别进行不同的优化。

禁用索引：插入记录时，MySQL会根据表的索引对插入的记录进行排序。如果插入大量数据时，这些排序会降低插入的速度。为了解决这种情况，在插入记录之前先禁用索引。等插入之后再启用索引。对于新创建的表，可以先不创建索引，等记录都导入以后再创建索引。这样可以提高导入数据的速度。

ALTER TABLE 表名 DISABLE KEYS；

ALTER TABLE 表名 ENABLE KEYS；

优化INSERT语句：当大量插入数据时，建议使用一个INSERT语句插入多条记录，而不是使用多次INSERT语句。这样可以减少与数据库之间的连接等操作。

5分析表，检查表，和优化表

分析表的主要作用是分析关键字的分布。检查表的作用是检查表是否存在错误。优化表主要作用是消除删除或者更新造成的空间浪费。

分析表 ANALYZE TABLE 表名；使用ANALYZE TABLE分析表的过程中，数据库系统会对表加一个只读锁。在分析表的过程中，只能读取表的内容，不能插入和更新表的内容。ANALYZE TABLE 语句能够分析InnoDB和MyISAM类型的表。

检查表使用CHECK TABLE语句。在执行过程中也会给表加上只读锁。

优化表使用OPTIMIZE TABLE语句。只能优化表中的VARCHAR,BLOB,TEXT类型的字段。OPTIMIZE TABLE语句可以消除删除和更新造成的磁盘碎片，从而减少空间浪费。因为如果一个表使用了TEXT或者BLOB这样的数据类型，那么更新，删除等操作就会造成磁盘空间的浪费。因为，更新和删除操作以后，以前分配的磁盘空间不会自动回收。使用OPTIMIZE TABLE语句可以将这些磁盘碎片整理出来，以便再利用。

4 优化MySQL服务器

硬件上的优化：增加内存和提高磁盘读写速度，都可以提高MySQL数据库的查询，更新的速度。另一种提高MySQL性能的方式是使用多块磁盘来存储数据。因为可以从多块磁盘上并行读取数据，这样可以提高读取数据的速度。

MySQL参数的优化：内存中会为MySQL保留部分的缓冲区。这些缓冲区可以提高MySQL的速度。缓冲区的大小都是在MySQL的配置文件中进行设置的。

下面对几个重要的参数进行详细介绍：

key_buffer_size：表示索引缓存的大小。这个值越大，使用索引进行查询的速度就越快

table_cache：表示同时打开的表的个数。这个值越大，能同时打开的表的个数就越多。这个值不是越大越好，因为同时打开的表过多会影响操作系统的性能。

query_cache_size：表示查询缓冲区的大小。使用查询缓存区可以提高查询的速度。这个方式只使用与修改操作少且经常执行相同的查询操作的情况；默认值是0.

Query_cache_type：表示查询缓存区的开启状态。0表示关闭，1表示开启。

Max_connections：表示数据库的最大连接数。这个连接数不是越大越好，因为连接会浪费内存的资源。

Sort_buffer_size：排序缓存区的大小，这个值越大，排序就越快。

Innodb_buffer_pool_size：表示InnoDB类型的表和索引的最大缓存。这个值越大，查询的速度就会越快。这个值太大了就会影响操作系统的性能。

合理配置这些参数可以提高MySQL数据库的性能。配置完参数后，需要重启MySQL服务才会生效

1. 要确保有足够的内存

数据库能够高效的运行，最关建的因素需要内存足更大了，能缓存住数据，更新也可以在内存先完成。但不同的业务对内存需要强度不一样，一推荐内存要占到数据的15-25%的比例，特别的热的数据，内存基本要达到数据库的80%大小。

2. 需要更多更快的CPU

MySQL 5.6可以利用到64个核，而MySQL每个query只能运行在一个CPU上，所以要求更多的CPU，更快的CPU会更有利于并发。

3. 要选择合适的操作系统

在官方建议估计最推荐的是Solaris, 从实际生产中看CentOS, REHL都是不错的选择，推荐使用CentOS, REHL 版本为6以后的，当然Oracle Linux也是一个不错的选择。虽然从MySQL 5.5后对Windows做了优化，但也不推荐在高并发环境中使用windows.

4. 合理的优化系统的参数

更改文件句柄 ulimit –n 默认1024 太小

进程数限制 ulimit –u 不同版本不一样

禁掉NUMA numctl –interleave=all

5. 选择合适的内存分配算法

默认的内存分配就是c的malloc 现在也出现许多优化的内存分配算法:

jemalloc and tcmalloc

从MySQL 5.5后支持声明内存储方法。

[mysqld_safe]

malloc-lib = tcmalloc

或是直接指到so文件

[mysqld_safe]

malloc-lib=/usr/local/lib/libtcmalloc_minimal.so

6. 使用更快的存储设备ssd或是固态卡

存储介质十分影响MySQL的随机读取，写入更新速度。新一代存储设备固态ssd及固态卡的出现也让MySQL 大放异彩，也是淘宝在去IOE中干出了一个漂亮仗。

7. 选择良好的文件系统

推荐XFS, Ext4,如果还在使用ext2,ext3的同学请尽快升级别。　推荐XFS，这个也是今后一段时间Linux会支持一个文件系统。

文件系统强烈推荐: XFS

8. 优化挂载文件系统的参数

挂载XFS参数：

(rw, noatime,nodiratime,nobarrier)

挂载ext4参数：

ext4 (rw,noatime,nodiratime,nobarrier,data=ordered)

如果使用SSD或是固态盘需要考虑：

• innodb_page_size = 4K

• Innodb_flush_neighbors = 0

9. 选择适合的IO调度

正常请下请使用deadline 默认是noop

echo dealine >/sys/block/{DEV-NAME}/queue/scheduler

10. 选择合适的Raid卡Cache策略

请使用带电的Raid，启用WriteBack，　对于加速redo log ,binary log, data file都有好处。

11. 禁用Query Cache

Query　Cache在Innodb中有点鸡肋，Innodb的数据本身可以在Innodb buffer pool中缓存，Query Cache属于结果集缓存，如果开启Query Cache更新写入都要去检查query cache反而增加了写入的开销。

在MySQL　5.6中Query　cache是被禁掉了。

12. 使用Thread Pool

现在一个数据对应5个以上App场景比较，但MySQL有个特性随着连接增多的情况下性能反而下降，所以对于连接超过200的以后场景请考虑使用thread pool. 这是一个伟大的发明。

13. 合理调整内存

13.1 减少连接的内存分配

连接可以用thread_cache_size缓存，观查属于比较属不如thread pool给力。数据库在连上分配的内存如下：

max_used_connections * (

read_buffer_size +

read_rnd_buffer_size +

join_buffer_size +

sort_buffer_size +

binlog_cache_size +

thread_stack +

2 * net_buffer_length …

)

13.2 使较大的buffer pool

要把60-80%的内存分给innodb_buffer_pool_size. 这个不要超过数据大小了，另外也不要分配超过80%不然会利用到swap.

14. 合理选择LOG刷新机制

Redo Logs:

– innodb_flush_log_at_trx_commit = 1 // 最安全

– innodb_flush_log_at_trx_commit = 2 // 　较好性能

– innodb_flush_log_at_trx_commit = 0 // 　最好的情能

binlog :

binlog_sync = 1 需要group commit支持，如果没这个功能可以考虑binlog_sync=0来获得较佳性能。

数据文件：

innodb_flush_method = O_DIRECT

15. 请使用Innodb表

可以利用更多资源，在线alter操作有所提高。目前也支持非中文的full text，同时支持Memcache API访问。目前也是MySQL最优秀的一个引擎。

如果你还在MyISAM请考虑快速转换。

16. 设置较大的Redo log

以前Percona 5.5和官方MySQL 5.5比拼性能时，胜出的一个Tips就是分配了超过4G的Redo log ,而官方MySQL5.5 redo log不能超过4G. 从 MySQL 5.6后可以超过4G了，通常建Redo log加起来要超过500M。可以通过观查redo log产生量，分配Redo log大于一小时的量即可。

17. 优化磁盘的IO

innodb_io_capactiy 在sas 15000转的下配置800就可以了，在ssd下面配置2000以上。

在MySQL 5.6:

innodb_lru_scan_depth = innodb_io_capacity / innodb_buffer_pool_instances

innodb_io_capacity_max = min(2000, 2 * innodb_io_capacity)

18. 使用独立表空间

目前来看新的特性都是独立表空间支持:

truncate table 表空间回收

表空间传输

较好的去优化碎片等管理性能的增加，

整体上来看使用独立表空间是没用的。

19. 配置合理的并发

innodb_thread_concurrency =并发这个参数在Innodb中变化也是最频繁的一个参数。不同的版本，有可能不同的小版本也有变动。一般推荐：

在使用thread pool 的情况下：

innodb_thread_concurrency = 0 就可以了。

如果在没有thread pool的情况下：

5.5 推荐：innodb_thread_concurrency =16 – 32

5.6 推荐innodb_thread_concurrency = 36

20. 优化事务隔离级别

默认是 Repeatable read

推荐使用Read committed binlog格式使用mixed或是Row

较低的隔离级别 = 较好的性能

21. 注重监控

任环境离不开监控，如果少了监控，有可能就会陷入盲人摸象。推荐zabbix+mpm构建监控。

网上有不少mysql 性能优化方案，不过，mysql的优化同sql server相比，更为麻烦与负责，同样的设置，在不同的环境下，由于内存，访问量，读写频率，数据差异等等情况，可能会出现不同的结果，因此简单地根据某个给出方案来配置mysql是行不通的，最好能使用status信息对mysql进行具体的优化，网上找了一篇文章，分页分得乱七八糟的，只能转到博客。

mysql> show global status;

　　可以列出mysql服务器运行各种状态值，另外，查询mysql服务器配置信息语句：

mysql> show variables;

一、慢查询

mysql> show variables like ‘%slow%‘;
+------------------+-------+
| variable_name　　　　 | value |
+------------------+-------+
| log_slow_queries | on　　　　 |
| slow_launch_time | 2　　　　　 |
+------------------+-------+
mysql> show global status like ‘%slow%‘;
+---------------------+-------+
| variable_name　　　　　　　 | value |
+---------------------+-------+
| slow_launch_threads | 0　　　　　 |
| slow_queries　　　　　　　　 | 4148 |
+---------------------+-------+

配置中打开了记录慢查询，执行时间超过2秒的即为慢查询，系统显示有4148个慢查询，你可以分析慢查询日志，找出有问题的sql语句，慢查询时间不宜设置过长，否则意义不大，最好在5秒以内，如果你需要微秒级别的慢查询，可以考虑给mysql打补丁：http://www.percona.com/docs/wiki/release:start，记得找对应的版本。

打开慢查询日志可能会对系统性能有一点点影响，如果你的mysql是主－从结构，可以考虑打开其中一台从服务器的慢查询日志，这样既可以监控慢查询，对系统性能影响又小。

二、连接数

经常会遇见”mysql: error 1040: too many connections”的情况，一种是访问量确实很高，mysql服务器抗不住，这个时候就要考虑增加从服务器分散读压力，另外一种情况是mysql配置文件中max_connections值过小：

mysql> show variables like ‘max_connections‘;
+-----------------+-------+
| variable_name　　　 | value |
+-----------------+-------+
| max_connections | 256　　 |
+-----------------+-------+

这台mysql服务器最大连接数是256，然后查询一下服务器响应的最大连接数：

mysql> show global status like ‘max_used_connections‘;

mysql服务器过去的最大连接数是245，没有达到服务器连接数上限256，应该没有出现1040错误，比较理想的设置是

max_used_connections / max_connections * 100% ≈ 85%

最大连接数占上限连接数的85％左右，如果发现比例在10%以下，mysql服务器连接数上限设置的过高了。

三、key_buffer_size

key_buffer_size是对myisam表性能影响最大的一个参数，下面一台以myisam为主要存储引擎服务器的配置：

mysql> show variables like ‘key_buffer_size‘;+-----------------+------------+
| variable_name　　　 | value　　　　　　 |
+-----------------+------------+
| key_buffer_size | 536870912 |
+-----------------+------------+

分配了512mb内存给key_buffer_size，我们再看一下key_buffer_size的使用情况：

mysql> show global status like ‘key_read%‘;
+------------------------+-------------+
| variable_name　　　　　　　　　　 | value　　　　　　　 |
+------------------------+-------------+
| key_read_requests　　　　　　 | 27813678764 |
| key_reads　　　　　　　　　　　　　　 | 6798830　　　　　 |
+------------------------+-------------+

　　一共有27813678764个索引读取请求，有6798830个请求在内存中没有找到直接从硬盘读取索引，计算索引未命中缓存的概率：

key_cache_miss_rate ＝ key_reads / key_read_requests * 100%

比如上面的数据，key_cache_miss_rate为0.0244%，4000个索引读取请求才有一个直接读硬盘，已经很bt了，key_cache_miss_rate在0.1%以下都很好（每1000个请求有一个直接读硬盘），如果key_cache_miss_rate在0.01%以下的话，key_buffer_size分配的过多，可以适当减少。

mysql服务器还提供了key_blocks_*参数：

mysql> show global status like ‘key_blocks_u%‘;
+------------------------+-------------+
| variable_name　　　　　　　　　　 | value　　　　　　　 |
+------------------------+-------------+
| key_blocks_unused　　　　　　 | 0　　　　　　　　　　　 |
| key_blocks_used　　　　　　　　 | 413543　　　　　　 |
+------------------------+-------------+

key_blocks_unused表示未使用的缓存簇(blocks)数，key_blocks_used表示曾经用到的最大的blocks数，比如这台服务器，所有的缓存都用到了，要么增加key_buffer_size，要么就是过渡索引了，把缓存占满了。比较理想的设置：

key_blocks_used / (key_blocks_unused + key_blocks_used) * 100% ≈ 80%

四、临时表

mysql> show global status like ‘created_tmp%‘;
+-------------------------+---------+
| variable_name　　　　　　　　　　　 | value　　　 |
+-------------------------+---------+
| created_tmp_disk_tables | 21197　　　 |
| created_tmp_files　　　　　　　 | 58　　　　　　 |
| created_tmp_tables　　　　　　 | 1771587 |
+-------------------------+---------+

每次创建临时表，created_tmp_tables增加，如果是在磁盘上创建临时表，created_tmp_disk_tables也增加,created_tmp_files表示mysql服务创建的临时文件文件数，比较理想的配置是：

　　created_tmp_disk_tables / created_tmp_tables * 100% <= 25%比如上面的服务器created_tmp_disk_tables / created_tmp_tables * 100% ＝ 1.20%，应该相当好了。我们再看一下mysql服务器对临时表的配置：

mysql> show variables where variable_name in (‘tmp_table_size‘, ‘max_heap_table_size‘);
+---------------------+-----------+
| variable_name　　　　　　　 | value　　　　　 |
+---------------------+-----------+
| max_heap_table_size | 268435456 |
| tmp_table_size　　　　　　 | 536870912 |
+---------------------+-----------+

只有256mb以下的临时表才能全部放内存，超过的就会用到硬盘临时表。

五、open table情况

mysql> show global status like ‘open%tables%‘;
+---------------+-------+
| variable_name | value |
+---------------+-------+
| open_tables　　　 | 919　　　 |
| opened_tables | 1951　 |
+---------------+-------+

open_tables表示打开表的数量，opened_tables表示打开过的表数量，如果opened_tables数量过大，说明配置中table_cache(5.1.3之后这个值叫做table_open_cache)值可能太小，我们查询一下服务器table_cache值：

mysql> show variables like ‘table_cache‘;
+---------------+-------+
| variable_name | value |
+---------------+-------+
| table_cache　　　 | 2048　 |
+---------------+-------+

比较合适的值为：

open_tables / opened_tables * 100% >= 85%

open_tables / table_cache * 100% <= 95%

六、进程使用情况

mysql> show global status like ‘thread%‘;
+-------------------+-------+
| variable_name　　　　　 | value |
+-------------------+-------+
| threads_cached　　　　 | 46　　　　 |
| threads_connected | 2　　　　　 |
| threads_created　　　 | 570　　　 |
| threads_running　　　 | 1　　　　　 |
+-------------------+-------+

如果我们在mysql服务器配置文件中设置了thread_cache_size，当客户端断开之后，服务器处理此客户的线程将会缓存起来以响应下一个客户而不是销毁（前提是缓存数未达上限）。threads_created表示创建过的线程数，如果发现threads_created值过大的话，表明mysql服务器一直在创建线程，这也是比较耗资源，可以适当增加配置文件中thread_cache_size值，查询服务器thread_cache_size配置：

mysql> show variables like ‘thread_cache_size‘;
+-------------------+-------+
| variable_name　　　　　 | value |
+-------------------+-------+
| thread_cache_size | 64　　　　 |
+-------------------+-------+

示例中的服务器还是挺健康的。

七、查询缓存(query cache)

mysql> show global status like ‘qcache%‘;
+-------------------------+-----------+
| variable_name　　　　　　　　　　　 | value　　　　　 |
+-------------------------+-----------+
| qcache_free_blocks　　　　　　 | 22756　　　　　 |
| qcache_free_memory　　　　　　 | 76764704　 |
| qcache_hits　　　　　　　　　　　　　 | 213028692 |
| qcache_inserts　　　　　　　　　　 | 208894227 |
| qcache_lowmem_unes　　　　 | 4010916　　　 |
| qcache_not_cached　　　　　　　 | 13385031　 |
| qcache_queries_in_cache | 43560　　　　　 |
| qcache_total_blocks　　　　　 | 111212　　　　 |
+-------------------------+-----------+

mysql查询缓存变量解释：

qcache_free_blocks：缓存中相邻内存块的个数。数目大说明可能有碎片。flush query cache会对缓存中的碎片进行整理，从而得到一个空闲块。

qcache_free_memory：缓存中的空闲内存。

qcache_hits：每次查询在缓存中命中时就增大

qcache_inserts：每次插入一个查询时就增大。命中次数除以插入次数就是不中比率。

qcache_lowmem_prunes：缓存出现内存不足并且必须要进行清理以便为更多查询提供空间的次数。这个数字最好长时间来看；如果这个数字在不断增长，就表示可能碎片非常严重，或者内存很少。（上面的 free_blocks和free_memory可以告诉您属于哪种情况）

qcache_not_cached：不适合进行缓存的查询的数量，通常是由于这些查询不是 select 语句或者用了now()之类的函数。

qcache_queries_in_cache：当前缓存的查询（和响应）的数量。

qcache_total_blocks：缓存中块的数量。

我们再查询一下服务器关于query_cache的配置：

mysql> show variables like ‘query_cache%‘;
+------------------------------+-----------+
| variable_name　　　　　　　　　　　　　　　　 | value　　　　　 |
+------------------------------+-----------+
| query_cache_limit　　　　　　　　　　　　 | 2097152　　　 |
| query_cache_min_res_unit　　　　　 | 4096　　　　　　 |
| query_cache_size　　　　　　　　　　　　　 | 203423744 |
| query_cache_type　　　　　　　　　　　　　 | on　　　　　　　　 |
| query_cache_wlock_invalidate | off　　　　　　　 |
+------------------------------+-----------+

各字段的解释：

query_cache_limit：超过此大小的查询将不缓存

query_cache_min_res_unit：缓存块的最小大小

query_cache_size：查询缓存大小

query_cache_type：缓存类型，决定缓存什么样的查询，示例中表示不缓存 select sql_no_cache 查询

query_cache_wlock_invalidate：当有其他客户端正在对myisam表进行写操作时，如果查询在query cache中，是否返回cache结果还是等写操作完成再读表获取结果。

query_cache_min_res_unit的配置是一柄”双刃剑”，默认是4kb，设置值大对大数据查询有好处，但如果你的查询都是小数据查询，就容易造成内存碎片和浪费。

查询缓存碎片率 = qcache_free_blocks / qcache_total_blocks * 100%

如果查询缓存碎片率超过20%，可以用flush query cache整理缓存碎片，或者试试减小query_cache_min_res_unit，如果你的查询都是小数据量的话。

查询缓存利用率 = (query_cache_size - qcache_free_memory) / query_cache_size * 100%

查询缓存利用率在25%以下的话说明query_cache_size设置的过大，可适当减小；查询缓存利用率在80％以上而且qcache_lowmem_prunes > 50的话说明query_cache_size可能有点小，要不就是碎片太多。

查询缓存命中率 = (qcache_hits - qcache_inserts) / qcache_hits * 100%

示例服务器查询缓存碎片率＝ 20.46％，查询缓存利用率＝ 62.26％，查询缓存命中率＝ 1.94％，命中率很差，可能写操作比较频繁吧，而且可能有些碎片。

八、排序使用情况

mysql> show global status like ‘sort%‘;
+-------------------+------------+
| variable_name　　　　　 | value　　　　　　 |
+-------------------+------------+
| sort_merge_passes | 29　　　　　　　　　 |
| sort_range　　　　　　　　 | 37432840　　　 |
| sort_rows　　　　　　　　　 | 9178691532 |
| sort_scan　　　　　　　　　 | 1860569　　　　 |
+-------------------+------------+

sort_merge_passes 包括两步。mysql 首先会尝试在内存中做排序，使用的内存大小由系统变量 sort_buffer_size 决定，如果它的大小不够把所有的记录都读到内存中，mysql 就会把每次在内存中排序的结果存到临时文件中，等 mysql 找到所有记录之后，再把临时文件中的记录做一次排序。这再次排序就会增加 sort_merge_passes。实际上，mysql 会用另一个临时文件来存再次排序的结果，所以通常会看到 sort_merge_passes 增加的数值是建临时文件数的两倍。因为用到了临时文件，所以速度可能会比较慢，增加 sort_buffer_size 会减少 sort_merge_passes 和创建临时文件的次数。但盲目的增加 sort_buffer_size 并不一定能提高速度，见 how fast can you sort data with mysql?（引自，貌似被墙）

另外，增加read_rnd_buffer_size(3.2.3是record_rnd_buffer_size)的值对排序的操作也有一点的好处，参见：

九、文件打开数(open_files)

mysql> show global status like ‘open_files‘;
+---------------+-------+
| variable_name | value |
+---------------+-------+
| open_files　　　　 | 1410　 |
+---------------+-------+

mysql> show variables like ‘open_files_limit‘;
+------------------+-------+
| variable_name　　　　 | value |
+------------------+-------+
| open_files_limit | 4590　 |
+------------------+-------+

比较合适的设置：open_files / open_files_limit * 100% <= 75％

十、表锁情况

mysql> show global status like ‘table_locks%‘;
+-----------------------+-----------+
| variable_name　　　　　　　　　 | value　　　　　 |
+-----------------------+-----------+
| table_locks_immediate | 490206328 |
| table_locks_waited　　　　 | 2084912　　　 |
+-----------------------+-----------+

　　table_locks_immediate表示立即释放表锁数，table_locks_waited表示需要等待的表锁数，如果table_locks_immediate / table_locks_waited > 5000，最好采用innodb引擎，因为innodb是行锁而myisam是表锁，对于高并发写入的应用innodb效果会好些。示例中的服务器table_locks_immediate / table_locks_waited ＝ 235，myisam就足够了。

十一、表扫描情况

mysql> show global status like ‘handler_read%‘;
+-----------------------+-------------+
| variable_name　　　　　　　　　 | value　　　　　　　 |
+-----------------------+-------------+
| handler_read_first　　　　 | 5803750　　　　　 |
| handler_read_key　　　　　　 | 6049319850　 |
| handler_read_next　　　　　 | 94440908210 |
| handler_read_prev　　　　　 | 34822001724 |
| handler_read_rnd　　　　　　 | 405482605　　　 |
| handler_read_rnd_next | 18912877839 |
+-----------------------+-------------+

各字段解释参见，调出服务器完成的查询请求次数：

mysql> show global status like ‘com_select‘;
+---------------+-----------+
| variable_name | value　　　　　 |
+---------------+-----------+
| com_select　　　　 | 222693559 |
+---------------+-----------+

计算表扫描率：

表扫描率＝ handler_read_rnd_next / com_select

如果表扫描率超过4000，说明进行了太多表扫描，很有可能索引没有建好，增加read_buffer_size值会有一些好处，但最好不要超过8mb。

后记：

文中提到一些数字都是参考值，了解基本原理就可以，除了mysql提供的各种status值外，操作系统的一些性能指标也很重要，比如常用的top,iostat等，尤其是iostat，现在的系统瓶颈一般都在磁盘io上，关于iostat的使用

一、CPU

首先从CPU说起。

你仔细检查的话，有些服务器上会有的一个有趣的现象：你cat /proc/cpuinfo时，会发现CPU的频率竟然跟它标称的频率不一样：

#cat /proc/cpuinfo     processor : 5    model name : Intel(R) Xeon(R) CPU E5-2620 0 @2.00GHz ...    cpu MHz : 1200.000

这个是Intel E5-2620的CPU，他是2.00G * 24的CPU，但是，我们发现第5颗CPU的频率为1.2G。

这是什么原因列？

这些其实都源于CPU最新的技术：节能模式。操作系统和CPU硬件配合，系统不繁忙的时候，为了节约电能和降低温度，它会将CPU降频。这对环保人士和抵制地球变暖来说是一个福音，但是对MySQL来说，可能是一个灾难。

为了保证MySQL能够充分利用CPU的资源，建议设置CPU为最大性能模式。这个设置可以在BIOS和操作系统中设置，当然，在BIOS中设置该选项更好，更彻底。由于各种BIOS类型的区别，设置为CPU为最大性能模式千差万别，我们这里就不具体展示怎么设置了。

二、内存

然后我们看看内存方面，我们有哪些可以优化的。

i)我们先看看numa

非一致存储访问结构 (NUMA ： Non-Uniform Memory Access) 也是最新的内存管理技术。它和对称多处理器结构 (SMP ： Symmetric Multi-Processor) 是对应的。简单的队别如下：

Smp numa

如图所示，详细的NUMA信息我们这里不介绍了。但是我们可以直观的看到：SMP访问内存的都是代价都是一样的；但是在NUMA架构下，本地内存的访问和非本地内存的访问代价是不一样的。对应的根据这个特性，操作系统上，我们可以设置进程的内存分配方式。目前支持的方式包括：

--interleave=nodes --membind=nodes --cpunodebind=nodes --physcpubind=cpus --localalloc --preferred=node

简而言之，就是说，你可以指定内存在本地分配，在某几个CPU节点分配或者轮询分配。除非是设置为--interleave=nodes轮询分配方式，即内存可以在任意NUMA节点上分配这种方式以外。其他的方式就算其他NUMA节点上还有内存剩余，Linux也不会把剩余的内存分配给这个进程，而是采用SWAP的方式来获得内存。有经验的系统管理员或者DBA都知道SWAP导致的数据库性能下降有多么坑爹。

所以最简单的方法，还是关闭掉这个特性。

关闭特性的方法，分别有：可以从BIOS，操作系统，启动进程时临时关闭这个特性。

a)由于各种BIOS类型的区别，如何关闭NUMA千差万别，我们这里就不具体展示怎么设置了。

b)在操作系统中关闭，可以直接在/etc/grub.conf的kernel行最后添加numa=off，如下所示：

kernel /vmlinuz-2.6.32-220.el6.x86_64 ro root=/dev/mapper/VolGroup-root rd_NO_LUKS LANG=en_US.UTF-8 rd_LVM_LV=VolGroup/root rd_NO_MD quiet SYSFONT=latarcyrheb-sun16 rhgb crashkernel=auto rd_LVM_LV=VolGroup/swap rhgb crashkernel=auto quiet KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM  numa=off

另外可以设置 vm.zone_reclaim_mode=0尽量回收内存。

c)启动MySQL的时候，关闭NUMA特性：

numactl --interleave=all  mysqld &

当然，最好的方式是在BIOS中关闭。

ii)我们再看看vm.swappiness。

vm.swappiness是操作系统控制物理内存交换出去的策略。它允许的值是一个百分比的值，最小为0，最大运行100，该值默认为60。vm.swappiness设置为0表示尽量少swap，100表示尽量将inactive的内存页交换出去。

具体的说：当内存基本用满的时候，系统会根据这个参数来判断是把内存中很少用到的inactive 内存交换出去，还是释放数据的cache。cache中缓存着从磁盘读出来的数据，根据程序的局部性原理，这些数据有可能在接下来又要被读取；inactive 内存顾名思义，就是那些被应用程序映射着，但是“长时间”不用的内存。

我们可以利用vmstat看到inactive的内存的数量：

#vmstat -an 1  procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----  r b swpd free  inact  active si so bi bo in cs us sy id wa st  1 0 0 27522384 326928 1704644 0 0 0 153 11 10 0 0 100 0 0  0 0 0 27523300 326936 1704164 0 0 0 74 784 590 0 0 100 0 0  0 0 0 27523656 326936 1704692 0 0 8 8 439 1686 0 0 100 0 0  0 0 0 27524300 326916 1703412 0 0 4 52 198 262 0 0 100 0 0

通过/proc/meminfo 你可以看到更详细的信息：

#cat /proc/meminfo | grep -i inact  Inactive: 326972 kB  Inactive(anon): 248 kB  Inactive(file): 326724 kB

这里我们对不活跃inactive内存进一步深入讨论。Linux中，内存可能处于三种状态：free，active和inactive。众所周知，Linux Kernel在内部维护了很多LRU列表用来管理内存，比如LRU_INACTIVE_ANON, LRU_ACTIVE_ANON, LRU_INACTIVE_FILE , LRU_ACTIVE_FILE, LRU_UNEVICTABLE。其中LRU_INACTIVE_ANON, LRU_ACTIVE_ANON用来管理匿名页，LRU_INACTIVE_FILE , LRU_ACTIVE_FILE用来管理page caches页缓存。系统内核会根据内存页的访问情况，不定时的将活跃active内存被移到inactive列表中，这些inactive的内存可以被交换到swap中去。

一般来说，MySQL，特别是InnoDB管理内存缓存，它占用的内存比较多，不经常访问的内存也会不少，这些内存如果被Linux错误的交换出去了，将浪费很多CPU和IO资源。 InnoDB自己管理缓存，cache的文件数据来说占用了内存，对InnoDB几乎没有任何好处。

所以，我们在MySQL的服务器上最好设置vm.swappiness=0。

我们可以通过在sysctl.conf中添加一行：

echo "vm.swappiness = 0" >>/etc/sysctl.conf

并使用sysctl -p来使得该参数生效。

三、文件系统

最后，我们看一下文件系统的优化

i)我们建议在文件系统的mount参数上加上noatime，nobarrier两个选项。

用noatime mount的话，文件系统在程序访问对应的文件或者文件夹时，不会更新对应的access time。一般来说，Linux会给文件记录了三个时间，change time, modify time和access time。

我们可以通过stat来查看文件的三个时间：

stat libnids-1.16.tar.gz  File: `libnids-1.16.tar.gz'  Size: 72309 Blocks: 152 IO Block: 4096 regular file  Device: 302h/770d Inode: 4113144 Links: 1  Access: (0644/-rw-r--r--) Uid: ( 0/ root) Gid: ( 0/ root)  Access  : 2008-05-27 15:13:03.000000000 +0800  Modify: 2004-03-10 12:25:09.000000000 +0800  Change: 2008-05-27 14:18:18.000000000 +0800

其中access time指文件最后一次被读取的时间，modify time指的是文件的文本内容最后发生变化的时间，change time指的是文件的inode最后发生变化(比如位置、用户属性、组属性等)的时间。一般来说，文件都是读多写少，而且我们也很少关心某一个文件最近什么时间被访问了。

所以，我们建议采用noatime选项，这样文件系统不记录access time，避免浪费资源。

现在的很多文件系统会在数据提交时强制底层设备刷新cache，避免数据丢失，称之为write barriers。但是，其实我们数据库服务器底层存储设备要么采用RAID卡，RAID卡本身的电池可以掉电保护；要么采用Flash卡，它也有自我保护机制，保证数据不会丢失。所以我们可以安全的使用nobarrier挂载文件系统。设置方法如下：

对于ext3, ext4和 reiserfs文件系统可以在mount时指定barrier=0；对于xfs可以指定nobarrier选项。

ii)文件系统上还有一个提高IO的优化万能钥匙，那就是deadline。

在Flash技术之前，我们都是使用机械磁盘存储数据的，机械磁盘的寻道时间是影响它速度的最重要因素，直接导致它的每秒可做的IO(IOPS)非常有限，为了尽量排序和合并多个请求，以达到一次寻道能够满足多次IO请求的目的，Linux文件系统设计了多种IO调度策略，已适用各种场景和存储设备。

Linux的IO调度策略包括：Deadline scheduler，Anticipatory scheduler，Completely Fair Queuing(CFQ)，NOOP。每种调度策略的详细调度方式我们这里不详细描述，这里我们主要介绍CFQ和Deadline，CFQ是Linux内核2.6.18之后的默认调度策略，它声称对每一个 IO 请求都是公平的，这种调度策略对大部分应用都是适用的。但是如果数据库有两个请求，一个请求3次IO，一个请求10000次IO，由于绝对公平，3次IO的这个请求都需要跟其他10000个IO请求竞争，可能要等待上千个IO完成才能返回，导致它的响应时间非常慢。并且如果在处理的过程中，又有很多IO请求陆续发送过来，部分IO请求甚至可能一直无法得到调度被“饿死”。而deadline兼顾到一个请求不会在队列中等待太久导致饿死，对数据库这种应用来说更加适用。

实时设置，我们可以通过

echo deadline >/sys/block/sda/queue/scheduler

来将sda的调度策略设置为deadline。

我们也可以直接在/etc/grub.conf的kernel行最后添加elevator=deadline来永久生效。

总结

CPU方面

关闭电源保护模式

内存：

vm.swappiness = 0

关闭numa

文件系统：

用noatime，nobarrier挂载系统

IO调度策略修改为deadline。

转载于:https://my.oschina.net/liting/blog/409143

你可能感兴趣的文章

在mui中创建aJax来请求数据..并展示在页面上

Windows 7环境下网站性能测试小工具 Apache Bench 和 Webbench使用和下载

hive学习2（Navicat连接hive）

查看>>

getResourceAsStream的3种路径配置

Loadrunner脚本编程（4）-数据类型操作和字符串操作

查看>>

STL 算法

查看>>

分享：Backbone.js 样例站点与入门指南

查看>>

图的基本算法

查看>>