Micon_blog

大数据相关的主要挑战如下：采集数据策展存储搜索分享传输分析展示     为了实现上述挑战，企业通常需要企业级服务器的帮助。    ...

前言       由于目前是hadoop学习阶段，不建议配置集群方式学习，只需要配置hadoop的单点运行，或者伪分布式模式，以降低学习成本，当对hadoop掌握一定基础知识以及hadoop的思想，可以考虑在多台机器部署安装集群方式。Hadoop 的单节点集群运行的启动步骤      1.安装教程请查看博客《hadoop安装》；      2.格式化HDFS：$HADOOP_H...

前言       hadoop安装版本为：hadoop-2.7.1。 下载hadoop       Linux终端：wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz 配置SSH   1.配置ssh：ssh-keygen -t rsa -P ""；  ...

HDFS介绍：http://blog.sina.com.cn/s/blog_67331d610102v3wl.htmlHadoop Shell命令参考教程：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.htmlFS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>...

hadoop程序安装包：/opt/package/hadoop-2.7.1；（具体hadoop安装请参考hadoop的安装教程！）问题1:：jps查看进程，没有datanode？             文件格式化$HADOOP_HOME/bin/hdfs namenode -format后，没有删除对应的元数据目录以及权限分配，可以监控hadoop启动日志（/opt/package/...

MapReduce 是适合海量数据处理的编程模型。Hadoop是能够运行在使用各种语言编写的MapReduce程序： Java, Ruby, Python, and C++. MapReduce程序是平行性的，因此可使用多台机器集群执行大规模的数据分析非常有用的。MapReduce程序的工作分两个阶段进行：Map阶段Reduce 阶段输入到每一个阶段均是键 ...