大数据
盛夏与微风
要加油哦
展开
-
logstash读取本地日志文件中文乱码解决方案
1.首先查看日志文件的字符集 [logStash@hadoop3 gamelogs]$ file game.txt game.txt: UTF-8 Unicode (with BOM) text, with CRLF line terminators 2.如果是UTF-8编码,则在LogStash配置文件设置charset为UTF-8input{ file{ ...原创 2018-08-29 20:09:40 · 9819 阅读 · 1 评论 -
因为多次namenode格式化导致hdfs只有Namenode启动
今天启动hdfs时hdfs namenode -format了一下,导致再次启动时datanode都没动静,查看日志如下:2018-08-30 10:22:59,831 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /home/hadoop/h...原创 2018-09-04 14:55:01 · 1597 阅读 · 0 评论 -
hadoop拒绝Track UI通过19888端口连接查看history
如题如下图所示,hadoop拒绝history通过19888端口连接查看已完成的job的日志,即点击下图的history之后,拒绝通过19888端口连接 原因在于:通过start-all.sh启动hadoop各项节点后,historyserver并没有启动,需要手动启动,因此可以通过以下命令来手动启动historyserver。启动命令:mr-jobhistory-daemon.sh s...原创 2018-09-04 22:07:04 · 3015 阅读 · 1 评论 -
改变reduce输出文件名字的方法
默认情况下,一个reducer产生一个文件,以name-r-nnnnn来命名,其中默认的name为part,nnnnn从(00000开始递增),保证了每个reducer不会产生重复的文件。 如果想要更改输出文件的name,可以使用MultipleOutput类,它允许将数据写到多个文件,这些文件的名字来源于输入的key、value或任意字符串。在reduce()中使用MultipleOutp...原创 2018-09-06 21:28:27 · 930 阅读 · 0 评论 -
ElasticSearch安装遇到Error以及解决方法
1. BindTransportException[Failed to bind to [9300-9400]Exception in thread "main" BindTransportException[Failed to bind to [9300-9400]]; nested: ChannelException[Failed to bind to: /192.168.0.1:9400]...原创 2019-04-16 16:00:54 · 1459 阅读 · 0 评论