![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
云计算
zhangphil
zhangphil@live.com
展开
-
Hadoop client NameNode、DataNode节点读写文件过程
Hadoop client NameNode、DataNode节点读写文件过程读:写:原创 2019-08-02 23:03:26 · 630 阅读 · 0 评论 -
大数据:Hadoop入门经典案例wordcount单词统计Java代码实现
大数据:Hadoop入门经典案例wordcount单词统计Java代码实现,Windows 10环境,IntelliJ IDEA集成开发环境。附1通过命令行形式实现大数据平台Hadoop下单词统计功能。现在通过自己编写Java代码实现。本例基于Hadoop 2.8.3,Windows 10(64位)。开发环境是Windows下的IntelliJ IDEA。1,首先需要为IntelliJ I...原创 2019-08-16 23:57:27 · 4954 阅读 · 2 评论 -
大数据:Hadoop文件操作HDFS常用命令(一)
大数据:Hadoop文件操作HDFS常用命令(一)1、创建目录。在HDFS中创建一个文件目录:hadoop dfs -mkdir2、查看文件结构目录:hdfs dfs -ls -R /例如,在HDFS中创建一个test_dir的文件目录,然后查看:如果查看具体某一个文件目录下的文件层次,则为:hadoop fs -ls /mydirmyd...原创 2019-08-09 23:03:26 · 29420 阅读 · 3 评论 -
大数据:Hadoop入门案例,命令行wordcount统计
大数据:Hadoop入门案例,命令行wordcount统计以Hadoop自带的wordcount为例,说明如何在Windows环境下,统计若干文件中的单词出现次数。上传要统计的文件。假设在计算机本地有三个文件,f1.txt,f2.txt,f3.txt,这个三个文件位于E:/myfile文件夹下,需要把myfile整个文件上传到HDFS上。本例目的就是统计存放到HDFS中的f1,f2,f3这...原创 2019-08-10 23:16:59 · 2493 阅读 · 0 评论 -
zookeeper节点监视Watcher
import org.apache.zookeeper.*;import java.util.List;public class Main { public static void main(String[] args) { //初始化log4j,zookeeper否则报错。 org.apache.log4j.BasicConfigurator.c...原创 2019-09-02 23:49:25 · 934 阅读 · 0 评论 -
zookeeper启动错误:Invalid config, exiting abnormally
zookeeper启动错误:Invalid config, exiting abnormally原因是在conf下面的zoo.cfg写配置时候,server.x=x.x.x.x:x:x 后面多了空格。解决方案:删除多余空格即可。原创 2019-08-24 23:27:47 · 9792 阅读 · 4 评论 -
zookeeper集群节点中Java程序代码写入节点数据
基于IDEA开发。需要添加对zookeeper的maven引用。 <dependencies> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artif...原创 2019-08-22 23:08:34 · 2349 阅读 · 0 评论 -
基于ZkClient往zookeeper分布式集群节点写入数据
zookeeper自身的ZooKeeper构建一个连接,然后往zookeeper节点写入数据,但是代码写法略显复杂。现在使用github上的一个开源项目ZkClienthttps://github.com/sgroschupf/zkclient可以大大简化往zookeeper分布式集群中的节点写入数据的复杂度。首先需要在pom.xml添加引用: <depend...原创 2019-08-25 23:06:13 · 1413 阅读 · 0 评论 -
基于Curator在zookeeper分布式器群节点创建命名空间和路径
基于Curator在zookeeper分布式器群节点创建命名空间和路径import org.apache.curator.RetryPolicy;import org.apache.curator.framework.CuratorFramework;import org.apache.curator.framework.CuratorFrameworkFactory;import o...原创 2019-09-05 23:28:22 · 817 阅读 · 0 评论