- 博客(32)
- 收藏
- 关注
原创 MHA高可用MySQL搭建+MySQL半同步复制+常见异常处理
部署环境:操作系统CentOS 7.2MySQL版本5.6.25mysql-5.6.25-linux-glibc2.5-x86_64.tar.gzMHA版本mha4mysql-manager-0.56-0.el6.noarch.rpmmha4mysql-node-0.56-0.el6
2018-02-01 15:05:03 1740
原创 max-allowed-packet参数调整
Command-Line Format--max-allowed-packet=#System VariableNamemax_allowed_packetScopeGlobal, SessionDynamicYesPermitted Values (Typeinteger
2018-01-26 18:45:17 1992
原创 MySQL如何快速的给表加索引
如果mysql的表上百万千万之后,增加索引时间上会比较久,对于OLTP和OLAP业务都无法满足。直接发起alter也会发生锁表情况。加索引时间久可能因为如下原因:1:添加索引的字段表大 索引构建过程中需要操作的数据量较大2:物理磁盘性能较差 索引结构构建的效率低3:alter事务可能在等待其他锁释放4:系统资源被其他服务占用,发生资源抢占。针
2018-01-26 18:17:06 5553
原创 MapReduce 单元测试工具 MRUnit 使用
首先下载MRUnitjar包,地址:https://repository.apache.org/content/repositories/releases/org/apache/mrunit/mrunit/,选择和你使用的hadoop对应版本,将jar包导入项目。MRUnit的使用很简单,流程如下:1:根据业务要求编写Map类,Reduce类2:编写测试类。3:运行测试,得
2016-07-27 14:53:30 3340
原创 Linux /proc/cpuinfo
查看Linux信息:[root@datanode-0001 ~]# uname -aLinux datanode-0001.hadoop 2.6.32-504.16.2.el6.x86_64 #1 SMP Wed Apr 22 06:48:29 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux查看CPU信息:[root@datanode-0
2016-07-26 13:08:41 801
原创 MySQL 二进制文件安装
参考官网:http://dev.mysql.com/doc/refman/5.6/en/binary-installation.htmlTo install and use a MySQL binary distribution, the command sequence looks like this:shell> groupadd mysqlshell>
2015-10-09 18:03:23 900
原创 MAC处理windows上传的txt文件 换行问题
换行符 ‘\n’回车符 '\r'windows系统每行结尾:“\r\n”unix系统每行结尾:"\n"mac系统每行结尾:“\r”在mac中写shell逐行处理文本,会遇到换行符解析问题,纪录解决方法。逻辑代码如下:(输出每一行的内容)#!/bin/shwhile read linedoecho $linedone
2015-07-03 11:54:25 5387
原创 shell定时创建Hive表分区
首先看一下hive 的help命令:[hdfs@datanode003 hive]$ hive -hMissing argument for option: husage: hive -d,--define Variable subsitution to apply to hive commands
2015-06-15 12:14:00 4068
原创 Hive 外部表 分区表
之前主要研究oracle与mysql,觉得hive其实就是一种数据仓库的框架,也没有太多另类,所以主要精力都在研究hadoop,hbase,sqoop,mahout,最近稍微用心看了下hive,其实hive还是比我想象中好用的多,心里有点点暗爽,不论是与hadoop的衔接,还是在对外查询分析,定期hsql生成报表方面,都非常方便,可以不用mapreduce,直接用hive生成报表。真是方便。
2015-06-12 14:17:33 2645
转载 Support Vector Mechine
转载文章地址链接:http://blog.csdn.net/sunanger_wang/article/details/7887218
2015-06-01 14:47:14 495
原创 ORA-01410 invalid rowid
最近业务短信经常报出如下异常: 系统错误编码:ORA-01410:无效的ROWID,错误源:PKG_BASE_DATA_XXXX,本地错误信息:TABLE_NAME=T_XXXX_CONN_MAC,错误位置:1-6. 结合业务场景,经分析,是索引失效导致的big query无法检索到正确的数据。表数据是通过sqlldr使用direct方式加载到表中。下面主要分析一下这
2015-05-28 19:03:00 10497
原创 Oracle Rman备份脚本与自动删除重复备份文件
#!/bin/shsource /home/oracle/.bash_profileif [ -z $1 ]then echo "Please Input a number,Usage: 0|1|2" exitelse RMAN_LEVEL=$1fiexport ORACLE_SID=xxxxexport TODAY=`date '+%Y%m%d'`export
2015-05-26 12:39:36 2023
原创 Slope One 协同过滤 推荐算法
Slope one 是一个简单,效率较高的协同过滤推荐算法。Slope One 算法是由 Daniel Lemire 教授在 2005 年提出.距今已经10年。 基于如下五点被设计出来:1. 算法容易实现和维护2. 对新的评分应该立即给予响应3. 查询速度要快(虽然可能以牺牲存储量为代价)4. 对新的用户也要能给出有效的推荐5. 精度
2015-05-22 19:49:50 2299
原创 位图 bitmap 理解
在数据库学习与试用当中会遇到一个概念“位图索引”,这是位图在索引检索中的一个应用案例。现在对位图的基本原来进行下学习。原理其实很简单,主要搞清楚一些基本概念。先说一下基本的概念:bit,byte,word。bit 位byte 字节word 字字长是指字的长度关系如下:1字=2字节(1 word = 2 byte) 1字节=8位(1 byte =
2015-05-17 19:49:02 1960
原创 MySQL中文参考手册
很好的中文手册:链接:http://www.sdau.edu.cn/support/mysq_doc/manual_toc.html
2014-05-27 14:55:13 1052
原创 ORA-01003: no statement parsed
手贱,故意删除了一张表,在OGG同步数据的同时,删除之后立刻报错,如下:OCI Error ORA-12096: error in materialized view log on "JTINFO"."TBL_USERID"ORA-01003: no statement parsed (status = 12096), SQL <INSERT /*+ APPEND */ INTO "
2013-12-29 02:50:35 3150
原创 OCI Error ORA-12096: error in materialized view log on "JTINFO"."TBL_USERID"
前两天进行了一次在线重定义,修改表某字段的长度。业务表,7000W左右的数据量,修改列为复合主键的其中一列,varchar2类型。Oracle 主备两台,读写分离。使用OGG进行同步。背景:在主库进行在线重定义,主库顺利完成,但是在备库报出异常,异常信息如下:OCI Error ORA-12096: error in materialized view log on
2013-12-29 02:26:25 3911 1
原创 MySQL wait_timeout参数设置与网上常见错误小纠
应用遇到异常报警:Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureThe last packet successfully received from the server was 23,579 milliseconds ago. The la
2013-12-02 18:27:13 21532
原创 MySQL 跳过同步错误方法
最近MySQL 遇到了同步问题,现整理一下常遇到的错误的解决方法,备用。方法一:手动设置动态参数 sql_slave_skip_counter我常用的脚本:stop slave sql_thread;set global sql_slave_skip_counter=1;start slave sql_thread;这个要 根据具体的错误来判定,一般用于
2013-12-02 14:51:23 10264
转载 Linux排错无碍乎,负载、内存、CPU、IO等
现象,这个很重要何时发现?是否可重现?是否有规律?有无线上更新?影响范围?等,有了现象,才好着手非法登录?两个命令#w#last误操作?#history查看运行的进程可查看正在运行的进程和用户#pstree -a #ps aux网络服务#netstat -antupCPU和内存还有空闲的内存吗?服务器在内存和磁盘之间swap?#fre
2013-11-28 11:51:08 1646
原创 Mysql 慢查询日志
慢查询日志在日常的数据库性能分析中非常常用,在业务高峰期进行样本收集,找出性能低下的sql语句非常高效。Mysql开启慢查询日志。查询目前服务器的查询日志状态(示例服务器刚刚开启,没开启 slow_query_log应该为OFF)mysql> show variables like '%slow%';+---------------------+-----------
2013-11-27 00:43:36 943
转载 Mysql skip-name-resolve 问题
错误信息101220 16:37:05 [Warning] 'user' entry 'root@qy' ignored in --skip-name-resolve mode.101220 16:37:05 [Warning] 'user' entry '@qy' ignored in --skip-name-resolve mode. 加 skip-name-resolve 参
2013-11-26 17:52:15 2127
原创 Mysql max_allowed_packet 大小设置
这个问题貌似大家遇到的都比较多,我简单的记录一下今天遇到的问题。查看错误日志发现:131124 7:47:08 [ERROR] Error reading packet from server: log event entry exceeded max_allowed_packet; Increase max_allowed_packet on master ( se
2013-11-26 17:42:39 12877
原创 Oracle 监听器日志 listener.log文件过大处理
今天遇到报警,alert.log报出异常:Thu Nov 21 11:00:31 2013WARNING: inbound connection timed out (ORA-3136)Thu Nov 21 11:13:49 2013WARNING: inbound connection timed out (ORA-3136)Thu Nov 21 11:14:54 2013
2013-11-21 16:50:58 17926
原创 Python:No module named mime.text or mime.multipart or mime.base
今天在写一个监控,用到邮件功能,导入module时发现email.mime.text 找不到。记录一下解决方法。查看了一下自己的python版本[root@localhost monitor_mysql]# python Python 2.4.3 (#1, Jan 9 2013, 06:47:03) [GCC 4.1.2 20080704 (Red Hat 4.1.2-5
2013-11-08 20:55:39 5037
原创 Sql Tuning 随手记
比较基础,随手记录。Sql Tuning ST-10001今天在OEM中查看TOP事件,发现这一条Sql语句。可能是应用层没有使用绑定变量,导致重复sql出现。重复的条数达到500。Target Sql:select * from tbl_name where itemid = '0ndoag' AND userid = 8085256378
2013-11-05 18:41:08 612
原创 Oracle 10g sql trace使用
sql trace 平时主要用在针对性的性能监控上,针对某个用户的会话,或者自己的会话。系统级别跟踪,生产库慎用,会付出较高的性能代价。具体没有亲身测试过。这里主要简单介绍下常规的trace使用。一:对自己的SESSION进行跟踪1:首先开启针对这个会话的sql trace.alter session set sql_trace true ;2:执行要追踪的
2013-11-01 14:36:21 738
原创 Linux Swap分区文件的使用
由于原本在home下的swap占用了4g的空间,目前想把分区迁移到比较大的目录下。一:首先取消原本的交换分区文件 1.1:获取root权限,使用swapoff回收交换分区文件/usr/sbin/swapoff /home/swap 1.2:从文件系统删除原有的swap文件rm /home/swap 1.3:从/etc/fstab 删除此前的文件二
2013-10-24 14:37:50 875
原创 Mysql同步配置
主库:A备库:B修改A的my.cnfserver-id = 1修改B的my.cnfserver-id = 2在A1:创建用户slave_usermysql> create user 'slave_user'@'xxx.xxx.xxx.xxx' identified by 'password';给用户授权mysql>
2013-10-16 17:01:39 599
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人