![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 75
郑斯道
这个作者很懒,什么都没留下…
展开
-
MapReduce 实现 倒序索引
倒序索引 简介“倒排索引”是文档检索系统中最常用的数据结构,被广泛地应用于全文搜索引擎。它主要是用来存储某个单词(或词组)在一个文档或一组文档中的存储位置的映射,即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容,而是进行相反的操作,因而称为倒排索引(Inverted Index)。关于倒序索引更加详细的介绍MapReduce实现倒序索引Hadoop 将数据传给 map原创 2017-08-02 17:08:34 · 1429 阅读 · 0 评论 -
Hadoop学习笔记:MapReduce任务Namenode DataNode Jobtracker Tasktracker之间的关系
一、基本概念 在MapReduce中,一个准备提交执行的应用程序称为“作业(job)”,而从一个作业划分出的运行于各个计算节点的工作单元称为“任务(task)”。此外,Hadoop提供的分布式文件系统(HDFS)主要负责各个节点的数据存储,并实现了高吞吐率的数据读写。 在分布式存储和分布式计算方面,Hadoop都是用主/从(Master/Slave)架构。在一个配置完整的集群上,想让Hadoop原创 2017-07-20 11:08:49 · 1302 阅读 · 0 评论 -
Eclipse 运行WordCount实例 (连接Linux下的Hadoop集群)
在Eclipse连接运载在Linux上的Hadoop之前,请先保证Hadoop是运行状态。 本人的hadoop配置文件: core-site.xml 19 <configuration> 20 <property> 21 <name>hadoop.tmp.dir</name> 22 <value>file:/usr/local/hadoop-2.8.原创 2017-07-19 20:01:01 · 1548 阅读 · 0 评论 -
Hadoop 2.8.0 全分布模式下遇见的坑
我这里设置了三台机子: 全是Ubuntu 16.04192.168.244.120 Master192.168.244.128 Slave1.Hadoop192.168.244.130 Slave2.Hadoop备注:机子上已经全部安装了,JDK1.8,Hadoop-2.8.0 ,ssh 并且设置好无密码登录。 以下是我碰见的所有坑:java.io.EOFException: End of原创 2017-07-14 10:17:00 · 1939 阅读 · 0 评论 -
Zookeeper 3.4.9 全分布模式解析(附:安装以及配置教程)
在我的上一篇博客中讲了如何玩Hadoop,今天我们就来装zookeeper咯!首先,如果要玩这个就必须先在机器上装好JDK,要求是java6以上的。附:ZooKeeper下载地址安装以及配置:本机配置: Ubuntu 16.04 64bit 一共有三台java version "1.8.0_131"Java(TM) SE Runtime Environment (build 1.8.0_131原创 2017-07-14 19:07:55 · 1135 阅读 · 0 评论 -
Ubuntu-16.04 下 Hadoop-2.8.0环境搭建
学习如何在Linux上部署Hadoop集群第一步:在Ubuntu16.04下部署JDK环境Hadoop的前提是需要有Java环境。 建议安装JDK1.6以上的版本以供使用。 JDK下载地址 :我这里使用的是1.8 Linux-64的。 注意:结尾是tar.gz结尾的!下载完成之后把包考入Ubuntu系统:sudo tar -zxcf /home/Desttop/jdk-8u131-linux-x6原创 2017-07-11 14:49:50 · 2029 阅读 · 1 评论 -
Flume 三大组件 & 逻辑结构
Flume 主要由三个重要的组件构成: Source :完成对日志数据的收集,分成transtion 和 even 打入到 channel 中。 Channel :主要提供一个队列的功能,对 source 提供中的数据进行简单的缓存。 Sink:取出 channel 中的数据,进行相应的存储文件系统,数据库,或者提交到远程服务器。简单点: Source:收集信息 Channel:传递信息原创 2017-10-22 19:23:48 · 9782 阅读 · 0 评论 -
CaffeOnSpark 安装遇到的一系列问题
入职虹软第一天:任务搭建一个搭建一个CaffeOnSpark的测试集群 ,状态:未完成。遇到的问题: 1在搭建 Hadoop 集群的时候,按照配置执行完两个重要的配置:core-site.xml 和 hdfs-site.xml 然后运行命令: ./bin/hdfs namenode -format 出现这样的错误: 提示 Error: JAVA_HOME is not set and co原创 2017-10-25 14:04:19 · 2289 阅读 · 4 评论 -
Hadoop 源码解析 No.1 NameNode
Hadoop 源码解析 No.1 NameNode注:本人使用的版本是 2.9,并且确保你的机器上已经安装了Source在新版的Hadoop 当中 启动模式已经从 $bin/hadoop ⇒ $bin/hdfs我们打开这个文件:if [ "$COMMAND" = "namenode" ] ; thenCLASS='org.apache.hadoop.hdfs.server.namenode.N原创 2017-12-26 12:26:38 · 308 阅读 · 0 评论