自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 论坛 (1)

原创 Impala invalidate metadata详细使用方法说明

前言Impala一直是我们各个业务使用的重点,但是在Impala的使用上感觉一直不是很成熟,比如说 invalidate metadata操作,到底什么时候该使用-r参数,什么时候不使用,什么时候可以用refresh代替,什么时候不可以,这一直是一个问题。因此有了这次的测试。这次的测试目的就是为了对Impala的元数据方面的使用进行一个彻底的测试,给出一个比较明确答复。在最大的成都上来减缓Impal

2016-04-14 19:12:33 13164

原创 Hadoop集群性能测试

前言测试方法临时的一个小测试,主要目的是测试一下集群的IO。现从两方面进行测试:系统级别和集群级别。集群环境10台物理机,64G内存,2T硬盘。cdh5.x工具测试过程中使用到的工具。ddhdparmiperfhadoop benchmark系统级别测试通过对集群节点测试,块写40G耗时49秒,磁盘写IO 873MB/s,读IO 1022.49MB/s,点对点网络IO大概110MB/

2016-04-13 10:26:20 9256

原创 Haproxy负载均衡算法

前言前段时间在impala集群中用到Haproxy,秉着折腾的原则,略微整理一下Haproxy的负载均衡算法,大致看了一下,基本上包括了主流的负载均衡算法。都是英文就不翻译了。自己大致明白的算法就凑一句自己的理解,不理解和没听过的,就算了。目前,我一直使用的是leastconn。算法roundrobin轮询。这就个就是轮询了,挨个分配机器。适合于服务器组中的所有服务器都有相同的软硬件配置并且平均服务

2016-04-13 10:25:00 2319

原创 自己动手写操作系统之1:bochs初步使用

0x00 前言自己动手写操作系统,自然需要一个承载程序的运行环境,这一章记录我使用bochs遇到的坑,凌晨十二点半才填完坑。这次记录的是使用bochs完整实现一个最简单的操作系统(其实根本不算操作系统,只是通过硬盘启动个mbr程序)。0x01 bochs1.安装安装比较简单了,我没有使用源码安装,不想再折腾那个了,不然估计我就没戏能开始了。yum install bochs bochs-x -y需要

2016-04-07 00:59:34 12342 2

原创 impala负载均衡

前言impala的负载均衡,使用haproxy来做,主要是比较简单。安装后做一个小配置就行。主要用的就是haproxy四层交换机的特性,讲所有指向haproxy主机和端口的请求,转发到相应的主机:端口上。cdh官网里面的信息已经比较久了,有些配置需要改,因此做一个笔记。impala负载安装haproxyyum install haproxy配置文件vim /etc/haproxy/haproxy.c

2016-04-05 15:19:29 2009

空空如也

木东居士的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也
提示
确定要删除当前文章?
取消 删除