![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 57
明明历险记
辽宁人在北京
展开
-
大数据集群测试
英特尔开发了HiTune性能分析器和HiBench基准测试套件, 用它们来降低 Apache Hadoop 性能调优的复杂性。GitHub源代码:HiBenchhttps://github.com/intel-hadoop/HiBench性能分析工具HiTune原创 2017-09-13 13:16:12 · 1564 阅读 · 0 评论 -
使用cloudera-manager CDH大数据集群运维工作记录
hbasegc时间过长警告:解决方法:查看hbase-配置-hbase.hregion.memstore.flush.size,该值默认为128MB,如果报gc警告,可适当调小。原创 2017-09-12 16:50:36 · 8139 阅读 · 0 评论 -
spark记录
sparkspark-shell启动:# spark-shellSetting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLevel).Welcome to ____ __ / __/__ ___ _____/ /__ _原创 2017-09-20 10:11:28 · 461 阅读 · 0 评论 -
hadoop mr程序出现The constructor Job(Configuration, String) is deprecated
解决方法如下:1.添加注解@SuppressWarnings("deprecation")Job job = new Job(conf, "star"); 2.使用 Job.getInstance(Configuration conf,String jobName )静态方法,创建job对象:Job job = Job.getInstance(conf, "star");原创 2017-10-11 16:13:55 · 1488 阅读 · 0 评论 -
cdh集群中kafka启动报错
下面贴出角色日志:经过排查,是由于kafka内存问题,改为1G,重启就OK;下面贴图。文件 /var/log/kafka/kafka-broker-bj-esbp-master.w-oasis.com.log 下载完整日志 2017年12月20日中午12点09 - 2017年12月20日下午1点1原创 2017-12-20 13:19:51 · 4066 阅读 · 3 评论