![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Java识堂
这个作者很懒,什么都没留下…
展开
-
Hadoop入门教程
安装修改etc/hadoop下面的配置 获取JAVA_HOME位置echo $JAVA_HOME/root/jdk1.8.0_151hadoop-env.sh#export JAVA_HOME=${JAVA_HOME}export JAVA_HOME=/root/jdk1.8.0_151core-site.xml<configuration>...原创 2018-04-20 14:18:52 · 545 阅读 · 0 评论 -
Hadoop配置文件的作用
介绍hadoop-env.sh用来定义hadoop运行环江相关的配置信息,比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径一级master和slave文件的位置等。core-site.xml用于定义系统级别的参数,比如HDFS URL、Hadoop的临时目录一级用户rack-aware集群中的配置文件的配置等,此中的参数定义会覆盖core...原创 2018-12-17 14:35:41 · 1526 阅读 · 0 评论 -
Hadoop架构模型
介绍文件元数据MetaData,文件数据元数据(例如文件的大小,修改时间)数据本身(主)NameNode节点保存文件元数据:单节点, posix(从)DataNode节点保存文件Block数据:多节点DataNode与NameNode保持心跳,提交Block列表HdfsClient与NameNode交互元数据信息HdfsClient与DataNode交互文件Block数据(cs...原创 2018-12-12 17:29:33 · 903 阅读 · 0 评论 -
Storm分布式集群搭建
配置zookeeper配置文件位置:/data/app/zookeeper/conf/zoo.cfg1.主要配置项目:配置数据目录dataDir=/data/app/zookeeper-datahostname:连接leader端口:leader选举端口server.101=mad101:2801:2802server.102=mad102:2801:2802server.103=...原创 2018-11-12 20:15:06 · 528 阅读 · 0 评论 -
Hadoop分布式集群搭建
介绍Hadoop常用发行版及选型Apache HadoopCDH : Cloudera Distributed HadoopHDP : Hortonworks Data Platform一般使用CDH,下载地址http://archive.cloudera.com/cdh5/cdh/5/LZ下载hadoop-2.6.0-cdh5.7.0,只要cdh版本号一样即可,这样各个组件之...原创 2018-11-09 12:02:13 · 513 阅读 · 0 评论 -
Logstash入门教程
参考博客每次从头读日志 [1]https://blog.csdn.net/jiao_fuyou/article/details/50777816原创 2018-06-05 16:53:12 · 1046 阅读 · 0 评论