- 博客(27)
- 收藏
- 关注
RSS订阅转载 叶问【转自知数堂微信公众号】
转自《叶问》是知数堂新设计的互动栏目，不定期给大家提供技术知识小贴士，形式不限，或提问、或讨论均可，并在当天发布答案，让大家轻轻松松利用碎片时间就可以学到最实用的知识点。知数堂 - 最靠谱、最有品质的培训品牌 http://www.3wedu.net/ 叶问专辑 https://mp.weixin.qq.com/mp/homepage?__biz=MzI1OTU2MDA4NQ%3D%3...
2018-10-27 20:05:45
407
转载 mysql之 sysbench0.4.12数据库性能测试
1. 常用选项在Shell中运行以下命令便可得到sysbench的常用选项信息：sysbench --help上述命令的输出信息如下图所示：1.1 使用语法使用sysbench时，可以通过以下语法进行基准测试：sysbench [通用选项]... --test=<测试名称> [测试选项]... 命令1.2 通用选项 --num-thread...
2018-10-27 19:03:04
543
原创 mysql之 sysbench1.0.3 安装与系统压力测试
针对系统和数据库压测是项目上线前必做的一项，这里使用的是最新版本的sysbench做的压测使用详解。sysbench可以做系统层面的压力测试（CPU、内存、硬盘IO、互斥锁、Thead），也可以做数据库（MySQL/Oracle/PG）层面的压力测试。安装容易，操作便捷，是压测使用的重要工具之一。一、sysbench下载项目地址：https://launchpad.net/sysbench ...
2018-10-27 16:39:00
786
原创 mysql之 误用SECONDS_BEHIND_MASTER衡量MYSQL主备的延迟时间
链接：http://www.woqutech.com/?p=1116 MySQL 本身通过 show slave status 提供了 Seconds_Behind_Master ，用于衡量主备之间的复制延迟，但是今天碰到了一个场景，发现 Seconds_Behind_Master 为 0 ， 备库的 show slave status 显示 IO/SQL 线程都是正常的 ， MySQL ...
2018-10-25 17:24:33
631
转载 mysql之 事务prepare 与 commit 阶段分析
打开binlog选项后，执行事务提交命令时，就会进入两阶段提交模式。两阶段提交分为prepare阶段和commit两个阶段。流程如下 ：这里面涉及到两个重要的参数：innodb_flush_log_at_trx_commit和sync_binlog，参数可以设置不同的值，具体可以查看mysql的帮助手册。我这里设置的是双一模式（innodb_flush_log_at_trx_commit=1，sy...
2018-10-25 16:41:37
1269
1
原创 mysql之 myloader原理介绍
myloader恢复主要流程 1、首先由myloader主线程完成建库建表，依次将备份目录下建库和建表文件执行应用到目标数据库实例中； 2、接着myloader主线程会生成多个工作线程，由这些工作线程将所有database.table.*.sql文件中的记录导入到对应表中，这个阶段是并行的，并行粒度为文件，工作线程完成所有database.table.*.sql 文件数据导入后销毁...
2018-10-25 10:48:21
431
原创 mydumper安装、原理介绍
一、安装安装依赖包：yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel cmake下载二进制包：wget https://launchpadlibrarian.net/225370879/mydumper-0.9.1.tar.gz解压安装：tar zxvf mydumper-0...
2018-10-25 09:21:14
321
原创 MongoDB之 写安全(Write Concern)
MongoDB Write Concern，简称MongoDB写入安全机制，是一种客户端设置，用于控制写入安全的级别。Write Concern 描述了MongoDB写入到mongod单实例，副本集，以及分片集群时何时应答给客户端。默认情况下，mongoDB文档增删改都会一直等待数据库响应(确认写入是否成功)，然后才会继续执行。本文讲述了MongoDB 应答机制及相关参数。一、MongoDB应...
2018-10-23 18:16:59
3957
原创 MongoDB journal与oplog解惑
journaljournal 是 MongoDB 存储引擎层的概念，目前 MongoDB主要支持 mmapv1、wiredtiger、mongorocks 等存储引擎，都支持配置journal。MongoDB 所有的数据写入、读取最终都是调存储引擎层的接口来存储、读取数据，journal 是存储引擎存储数据时的一种辅助机制。 默认情况下mongodb每100毫秒往journal文件中f...
2018-10-23 14:49:32
290
原创 mongodb之 mongodump 与 mongorestore
一、备份和之前介绍的 mongoexport 的数据导出工具不同， mongodump 是将数据以二进制形式导出，而 mongoexport 导出的数据格式为 csv 或 json 格式； mongodump 可以导出一个数据库，或者整个 MongoDB 服务上的所有数据库，因此 mongodump 是更大范围的备份工具。[root@mysql3 admin]# mongodump --h...
2018-10-22 16:23:33
1647
原创 mysql之 openark-kit online ddl
MySQL工具集openark-kit (官方网站 http://code.openark.org/forge/openark-kit)，内部包含很多小工具,在5.6之前用于实现online ddl操作，本文以CentOS为操作系统，且默认操作系统中已经安装Python环境。 1.0、 安装openark-kit工具包安装Python模块包之MySQL-python,用于使用Pyth...
2018-10-22 09:47:56
372
1
原创 redis之 3.0集群安装
1. 集群即使有了主从复制，每个数据库都要保存整个集群中的所有数据，容易形成木桶效应。 使用Jedis实现了分片集群，是由客户端控制哪些key数据保存到哪个数据库中，如果在水平扩容时就必须手动进行数据迁移，而且需要将整个集群停止服务，这样做非常不好的。 Redis3.0版本的一大特性就是集群（Cluster），接下来我们一起学习集群。1.0. 架构 (1)所有的re...
2018-10-19 11:41:57
147
原创 mysql之 重建GTID下主从关系
主库：mysqldump -uroot -pmysql -S /tmp/mysql.sock1 --single-transaction --add-drop-database --master-data=1-ER --all-databases>test_backup.sql说明：--all-databases ：备份所有的数据库--single-transaction ...
2018-10-16 16:20:21
843
转载 企业级nosql数据库应用与实战-redis
目录一、NoSQL简介 1.1 常见的优化思路和方向 1.1.1 MySQL主从读写分离 1.1.2 分库分表 1.2 NoSQL诞生的原因 1.3 分布式系统的挑战 1.3.1关系数据库和NoSQL侧重点 1.4 NoSQL的优缺点 1.5 NoSQL总结 二、NoSQL的分类 2.1 基本分类 2.2 常见分类 2.3 常见N...
2018-10-15 14:45:46
254
原创 自动化运维工具——ansible详解（二）
目录Ansible playbook 简介 Ansible playbook使用场景 Ansible playbook格式 1）格式简介 2）核心元素 3）基本组件 举例 4）variables 部分 ① facts ：可直接调用 ② 用户自定义变量 举例 ③ 通过roles传递变量 ④ Host Inventory 5...
2018-10-15 14:38:18
167
原创 自动化运维工具——ansible详解（一）
目录ansible 简介 ansible 是什么？ ansible 特点 ansible 架构图 ansible 任务执行 ansible 任务执行模式 ansible 执行流程 ansible 命令执行过程 ansible 配置详解 ansible 安装方式 使用 pip（python的包管理模块）安装 使用 yum 安装 ansibl...
2018-10-15 14:35:10
526
原创 缓存雪崩和缓存穿透问题解决方案
缓存雪崩 简介：缓存同一时间大面积的失效，所以，后面的请求都会落到数据库上，造成数据库短时间内承受大量请求而崩掉。 解决办法： 事前：尽量保证整个 Redis 集群的高可用性，发现机器宕机尽快补上。选择合适的内存淘汰策略。 事中：本地 Ehcache 缓存 + Hystrix 限流&降级，避免 MySQL 崩掉。 事后：利用 Redis 持久化...
2018-10-11 11:15:34
211
原创 Redis 和 Memcached 的区别
Redis 和 Memcached区别： Redis 支持更丰富的数据类型（支持更复杂的应用场景）：Redis 不仅仅支持简单的 K/V 类型的数据，同时还提供 list、set、zset、hash 等数据结构的存储。Memcache 支持简单的数据类型 String。 Redis 支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用，而 Memeca...
2018-10-11 08:54:11
186
原创 mongo之 前后台创建索引 --noIndexBuildRetry
在数据量超大的情形下，任何数据库系统在创建索引时都是一个耗时的大工程。MongoDB也不例外。因此，MongoDB索引的创建有两个选择，一个是前台方式，一个是后台方式。那这两种方式有什么差异呢，在创建索引是是否能观察到索引完成的进度呢。本文将是基于此的描述，同时也描述了索引创建相关的注意事项。一、索引创建方式 前台方式 缺省情况下，当为一个集合创建索引时，这个操...
2018-10-10 19:33:00
5750
原创 mongodb之 oplog 日志详解
1：oplog简介oplog是local库下的一个固定集合，Secondary就是通过查看Primary 的oplog这个集合来进行复制的。每个节点都有oplog，记录这从主节点复制过来的信息，这样每个成员都可以作为同步源给其他节点。2：副本集数据同步的过程副本集中数据同步的详细过程：Primary节点写入数据，Secondary通过读取Primary的oplog得到复制信息，开始复...
2018-10-10 15:06:29
1388
原创 Percona XtraDB Cluster 的一些使用限制(PXC 5.7)
Percona XtraDB Cluster有众多的优秀特性，使得mysql集群得以轻松实现。但是不要忽略了它的一些限制。如果你无法接受，或者你的应用程序或数据库(比如使用了memory引擎)对限制无法做出调整，那PXC对你而言是不合适。限制有哪些呢，下文是其描述。1、存储引擎： 基于PXC的复制仅适用于InnoDB存储引擎。 对其他存储引擎的表，包括mysql.*表之类的系统表，...
2018-10-09 15:44:52
177
转载 Percona XtraDB Cluster高可用与状态快照传输(PXC 5.7 )
Percona XtraDB Cluster(下称PXC)高可用集群支持任意节点在运行期间的重启，升级或者意外宕机，即它解决了单点故障问题。那在这个意外宕机或者重启期间，该节点丢失的数据如何再次进行同步呢？本文介绍了在节点故障和重启PXC如何实现高可用以及状态快照传输的几种方法优缺点。一、高可用在具有3个节点的基本设置中，如果您关闭任何节点，Percona XtraDB集群将继续运行。在任...
2018-10-09 15:40:21
178
转载 mysql之 Percona XtraDB Cluster集群线程模型
Percona XtraDB集群创建一组线程来为其操作提供服务，这些线程与现有的MySQL线程无关。有三个主要线程组：一、Applier线程Applier线程应用从其他节点接收的写入集。写消息直接通过gcv_recv_thread。使用wsrep_slave_threads变量控制线程的数量。默认值是1，这意味着至少有一个wsrep applier线程存在来处理请求。Applier...
2018-10-09 15:10:37
144
原创 mongodb之 3.4.0 mongodb sharing 副本集群搭建
系统系统 centos6.5三台服务器：10.100.25.42/43/44安装包： mongodb-linux-x86_64-rhel62-3.4.0.tgz服务器规划:mongos mongos mongosconfig server config server config servershard server1 主节点 shard server1 副节点 shard ser...
2018-10-09 11:35:33
206
原创 redis之 Redis持久化配置
Redis持久化配置 Redis的持久化有2种方式 1快照 2是日志 Rdb快照的配置选项save 900 1 // 900内,有1条写入,则产生快照save 300 1000 // 如果300秒内有1000次写入,则产生快照save 60 10000 // 如果60秒内有10000次写入,则产生快照(这3个选项都屏蔽,则rdb禁用) st...
2018-10-07 17:23:29
184
原创 MySQL 5.7新特性之在线收缩undo表空间
1. MySQL 5.5时代的undo log在MySQL5.5以及之前，大家会发现随着数据库上线时间越来越长，ibdata1文件（即InnoDB的共享表空间，或者系统表空间）会越来越大，这会造成2个比较明显的问题：（1）磁盘剩余空间越来越小，到后期往往要加磁盘；（2）物理备份时间越来越长，备份文件也越来越大。这是怎么回事呢？原因除了数据量自然增长之外，在MySQL5.5以及之...
2018-10-01 16:16:17
272
转载 MySQL5.6新特性之Multi-Range Read
一 介绍 MySQL 5.6版本提供了很多性能优化的特性，其中之一就是 Multi-Range Read 多范围读(MRR) , 它的作用针对基于辅助/第二索引的查询，减少随机IO，并且将随机IO转化为顺序IO，提高查询效率。二 原理 在没有MRR之前,或者没有开启MRR特性时，MySQL 针对基于辅助索引的查询策略是这样的： select non_key_column from ...
2018-10-01 15:59:29
1523
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人