hadoop问题
爱哭的猫ff
在校软件工程学生
展开
-
hadoop heap space问题
在mapred-site.xml中设置: mapred.child.java.opts -Xmx200m 值改大一些 1024m。 同时在hadoop-env.sh中 export HADOOP_HEAPSIZE=2000 这个的大小,开始装的时候我把这个值设置的太小了,现在调大一些。就可以了。原创 2015-10-17 21:19:27 · 590 阅读 · 0 评论 -
java.lang.NoSuchMethodError: org.slf4j.impl.StaticLoggerBinder.getSingleton()Lorg/slf4j/impl/StaticL
运行hadoop jar 包时出现以下错误提示;Exception in thread "main" java.lang.NoSuchMethodError: org.slf4j.impl.StaticLoggerBinder.getSingleton()Lorg/slf4j/impl/StaticLoggerBinder; at org.slf4j.LoggerFactor原创 2015-11-05 20:23:16 · 2623 阅读 · 0 评论 -
自定义输出文件名
package selfname; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; //import org.apache.hadoop.mapreduc原创 2015-08-29 15:42:16 · 1283 阅读 · 0 评论 -
java.lang.RuntimeException: java.lang.NoSuchMethodException: tfidf$Reduce.<init>()
今天运行hadoop突然出现一个问题!java.lang.RuntimeException: java.lang.NoSuchMethodException: tfidf$Reduce.() at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:115) at org.apach原创 2015-11-13 16:56:34 · 1441 阅读 · 0 评论 -
could only be replicated to 0 nodes, instead of 1解决办法
1、系统或hdfs是否有足够空间(本人就是因为硬盘空间不足导致异常发生)2、datanode数是否正常3、是否在safemode4、防火墙是否关闭5、关闭hadoop、格式化、重启hadoop原创 2015-10-15 18:34:34 · 756 阅读 · 0 评论