- 博客(32)
- 收藏
- 关注
RSS订阅原创 MHA高可用MySQL搭建+MySQL半同步复制+常见异常处理
部署环境：操作系统CentOS 7.2MySQL版本5.6.25mysql-5.6.25-linux-glibc2.5-x86_64.tar.gzMHA版本mha4mysql-manager-0.56-0.el6.noarch.rpmmha4mysql-node-0.56-0.el6
2018-02-01 15:05:03
1718
原创 max-allowed-packet参数调整
Command-Line Format--max-allowed-packet=#System VariableNamemax_allowed_packetScopeGlobal, SessionDynamicYesPermitted Values (Typeinteger
2018-01-26 18:45:17
1913
原创 MySQL如何快速的给表加索引
如果mysql的表上百万千万之后，增加索引时间上会比较久，对于OLTP和OLAP业务都无法满足。直接发起alter也会发生锁表情况。加索引时间久可能因为如下原因：1:添加索引的字段表大 索引构建过程中需要操作的数据量较大2:物理磁盘性能较差 索引结构构建的效率低3:alter事务可能在等待其他锁释放4:系统资源被其他服务占用，发生资源抢占。针
2018-01-26 18:17:06
5519
原创 MapReduce 单元测试工具 MRUnit 使用
首先下载MRUnitjar包，地址：https://repository.apache.org/content/repositories/releases/org/apache/mrunit/mrunit/，选择和你使用的hadoop对应版本，将jar包导入项目。MRUnit的使用很简单，流程如下：1:根据业务要求编写Map类，Reduce类2:编写测试类。3:运行测试，得
2016-07-27 14:53:30
3295
原创 Linux /proc/cpuinfo
查看Linux信息：[root@datanode-0001 ~]# uname -aLinux datanode-0001.hadoop 2.6.32-504.16.2.el6.x86_64 #1 SMP Wed Apr 22 06:48:29 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux查看CPU信息：[root@datanode-0
2016-07-26 13:08:41
751
原创 MySQL 二进制文件安装
参考官网：http://dev.mysql.com/doc/refman/5.6/en/binary-installation.htmlTo install and use a MySQL binary distribution, the command sequence looks like this:shell> groupadd mysqlshell>
2015-10-09 18:03:23
880
原创 MAC处理windows上传的txt文件 换行问题
换行符 ‘\n’回车符 '\r'windows系统每行结尾：“\r\n”unix系统每行结尾:"\n"mac系统每行结尾：“\r”在mac中写shell逐行处理文本，会遇到换行符解析问题，纪录解决方法。逻辑代码如下：（输出每一行的内容）＃!/bin/shwhile read linedoecho $linedone
2015-07-03 11:54:25
5352
原创 shell定时创建Hive表分区
首先看一下hive 的help命令：[hdfs@datanode003 hive]$ hive -hMissing argument for option: husage: hive -d,--define Variable subsitution to apply to hive commands
2015-06-15 12:14:00
4027
原创 Hive 外部表 分区表
之前主要研究oracle与mysql，觉得hive其实就是一种数据仓库的框架，也没有太多另类，所以主要精力都在研究hadoop，hbase，sqoop，mahout，最近稍微用心看了下hive，其实hive还是比我想象中好用的多，心里有点点暗爽，不论是与hadoop的衔接，还是在对外查询分析，定期hsql生成报表方面，都非常方便，可以不用mapreduce，直接用hive生成报表。真是方便。
2015-06-12 14:17:33
2614
转载 Support Vector Mechine
转载文章地址链接：http://blog.csdn.net/sunanger_wang/article/details/7887218
2015-06-01 14:47:14
482
原创 ORA-01410 invalid rowid
最近业务短信经常报出如下异常： 系统错误编码：ORA-01410:无效的ROWID,错误源：PKG_BASE_DATA_XXXX,本地错误信息：TABLE_NAME=T_XXXX_CONN_MAC，错误位置：1-6. 结合业务场景，经分析，是索引失效导致的big query无法检索到正确的数据。表数据是通过sqlldr使用direct方式加载到表中。下面主要分析一下这
2015-05-28 19:03:00
10355
原创 Oracle Rman备份脚本与自动删除重复备份文件
#!/bin/shsource /home/oracle/.bash_profileif [ -z $1 ]then echo "Please Input a number,Usage: 0|1|2" exitelse RMAN_LEVEL=$1fiexport ORACLE_SID=xxxxexport TODAY=`date '+%Y%m%d'`export
2015-05-26 12:39:36
1995
原创 Slope One 协同过滤 推荐算法
Slope one 是一个简单，效率较高的协同过滤推荐算法。Slope One 算法是由 Daniel Lemire 教授在 2005 年提出.距今已经10年。 基于如下五点被设计出来：1. 算法容易实现和维护2. 对新的评分应该立即给予响应3. 查询速度要快（虽然可能以牺牲存储量为代价）4. 对新的用户也要能给出有效的推荐5. 精度
2015-05-22 19:49:50
2274
原创 位图 bitmap 理解
在数据库学习与试用当中会遇到一个概念“位图索引”，这是位图在索引检索中的一个应用案例。现在对位图的基本原来进行下学习。原理其实很简单，主要搞清楚一些基本概念。先说一下基本的概念：bit，byte，word。bit 位byte 字节word 字字长是指字的长度关系如下：1字=2字节(1 word = 2 byte) 1字节=8位(1 byte =
2015-05-17 19:49:02
1936
原创 MySQL中文参考手册
很好的中文手册：链接：http://www.sdau.edu.cn/support/mysq_doc/manual_toc.html
2014-05-27 14:55:13
1041
原创 ORA-01003: no statement parsed
手贱，故意删除了一张表，在OGG同步数据的同时，删除之后立刻报错，如下：OCI Error ORA-12096: error in materialized view log on "JTINFO"."TBL_USERID"ORA-01003: no statement parsed (status = 12096), SQL <INSERT /*+ APPEND */ INTO "
2013-12-29 02:50:35
3109
原创 OCI Error ORA-12096: error in materialized view log on "JTINFO"."TBL_USERID"
前两天进行了一次在线重定义，修改表某字段的长度。业务表，7000W左右的数据量，修改列为复合主键的其中一列，varchar2类型。Oracle 主备两台，读写分离。使用OGG进行同步。背景：在主库进行在线重定义，主库顺利完成，但是在备库报出异常，异常信息如下：OCI Error ORA-12096: error in materialized view log on
2013-12-29 02:26:25
3858
1
原创 MySQL wait_timeout参数设置与网上常见错误小纠
应用遇到异常报警：Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureThe last packet successfully received from the server was 23,579 milliseconds ago. The la
2013-12-02 18:27:13
21484
原创 MySQL 跳过同步错误方法
最近MySQL 遇到了同步问题，现整理一下常遇到的错误的解决方法，备用。方法一:手动设置动态参数 sql_slave_skip_counter我常用的脚本：stop slave sql_thread;set global sql_slave_skip_counter=1;start slave sql_thread;这个要 根据具体的错误来判定，一般用于
2013-12-02 14:51:23
10163
转载 Linux排错无碍乎，负载、内存、CPU、IO等
现象，这个很重要何时发现？是否可重现？是否有规律？有无线上更新？影响范围？等，有了现象，才好着手非法登录？两个命令#w#last误操作?#history查看运行的进程可查看正在运行的进程和用户#pstree -a #ps aux网络服务#netstat -antupCPU和内存还有空闲的内存吗？服务器在内存和磁盘之间swap?#fre
2013-11-28 11:51:08
1626
原创 Mysql 慢查询日志
慢查询日志在日常的数据库性能分析中非常常用，在业务高峰期进行样本收集，找出性能低下的sql语句非常高效。Mysql开启慢查询日志。查询目前服务器的查询日志状态（示例服务器刚刚开启，没开启 slow_query_log应该为OFF）mysql> show variables like '%slow%';+---------------------+-----------
2013-11-27 00:43:36
929
转载 Mysql skip-name-resolve 问题
错误信息101220 16:37:05 [Warning] 'user' entry 'root@qy' ignored in --skip-name-resolve mode.101220 16:37:05 [Warning] 'user' entry '@qy' ignored in --skip-name-resolve mode. 加 skip-name-resolve 参
2013-11-26 17:52:15
2073
原创 Mysql max_allowed_packet 大小设置
这个问题貌似大家遇到的都比较多，我简单的记录一下今天遇到的问题。查看错误日志发现：131124 7:47:08 [ERROR] Error reading packet from server: log event entry exceeded max_allowed_packet; Increase max_allowed_packet on master ( se
2013-11-26 17:42:39
12822
原创 Oracle 监听器日志 listener.log文件过大处理
今天遇到报警，alert.log报出异常：Thu Nov 21 11:00:31 2013WARNING: inbound connection timed out (ORA-3136)Thu Nov 21 11:13:49 2013WARNING: inbound connection timed out (ORA-3136)Thu Nov 21 11:14:54 2013
2013-11-21 16:50:58
17835
原创 Python:No module named mime.text or mime.multipart or mime.base
今天在写一个监控，用到邮件功能，导入module时发现email.mime.text 找不到。记录一下解决方法。查看了一下自己的python版本[root@localhost monitor_mysql]# python Python 2.4.3 (#1, Jan 9 2013, 06:47:03) [GCC 4.1.2 20080704 (Red Hat 4.1.2-5
2013-11-08 20:55:39
4990
原创 Sql Tuning 随手记
比较基础，随手记录。Sql Tuning ST-10001今天在OEM中查看TOP事件，发现这一条Sql语句。可能是应用层没有使用绑定变量，导致重复sql出现。重复的条数达到500。Target Sql:select * from tbl_name where itemid = '0ndoag' AND userid = 8085256378
2013-11-05 18:41:08
597
原创 Oracle 10g sql trace使用
sql trace 平时主要用在针对性的性能监控上，针对某个用户的会话，或者自己的会话。系统级别跟踪，生产库慎用，会付出较高的性能代价。具体没有亲身测试过。这里主要简单介绍下常规的trace使用。一：对自己的SESSION进行跟踪1：首先开启针对这个会话的sql trace.alter session set sql_trace true ;2:执行要追踪的
2013-11-01 14:36:21
723
原创 Linux Swap分区文件的使用
由于原本在home下的swap占用了4g的空间，目前想把分区迁移到比较大的目录下。一：首先取消原本的交换分区文件 1.1：获取root权限，使用swapoff回收交换分区文件/usr/sbin/swapoff /home/swap 1.2：从文件系统删除原有的swap文件rm /home/swap 1.3：从/etc/fstab 删除此前的文件二
2013-10-24 14:37:50
860
原创 Mysql同步配置
主库：A备库：B修改A的my.cnfserver-id = 1修改B的my.cnfserver-id = 2在A1：创建用户slave_usermysql> create user 'slave_user'@'xxx.xxx.xxx.xxx' identified by 'password';给用户授权mysql>
2013-10-16 17:01:39
584
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人