![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
云计算与大数据
kaikaihit
这个作者很懒,什么都没留下…
展开
-
安装centos 7 字符界面
*安装centos 7 字符界面*打开VM虚拟,创建新的新的虚拟机 这里选择自定义,也可以按照自己的意愿选择典型。 下一步~ 下一步~ 选择你要创建虚拟机的名和位置,可以默认。 根据自己的意愿,可以设定处理器的数量 对于内存是8G的可以分配3G或4G~,原创 2017-09-30 22:45:13 · 2845 阅读 · 2 评论 -
HDFS JAVA API操作
一、 读文件 操作步骤: 1.连接HDFS系统Configuration configuration = new Configuration();configuration.set("fs.defaultFS","hdfs://hadoop.skedu.com:9000");2.获得文件系统FileSystem fileSystem = FileSystem.get(confi原创 2017-11-09 23:22:42 · 242 阅读 · 0 评论 -
【Hadoop】搭建hadoop集群
基本配置: 三台机器名分别是zhangkai,zhangkai2,zhangkai3,并且都是在zzxb普通用户下进行搭建。 hadoop-2.7.4、jdk8步骤: 1.在各个节点opt目录下创建app目录,用来存放集群相关的软件。$ sudo mkdir /opt/app赋予zzxb用户对app目录的读权限。sudo chown -R zzxb:skhadoop app2.将hadoop安原创 2017-11-22 20:04:16 · 297 阅读 · 0 评论 -
【Hadoop】之ZooKeeper
1、ZooKeeper简介 ZooKeeper是一个为分布式应用所设计的开源协调服务。可以为用户提供同步、配置管理、分组和命名等服务。ZooKeeper提供一个易于编程的环境,它的文件系统使用了我们熟悉的目录树结构,ZooKeeper是使用Java编写的,但是它支持Java和C两种编程语言接口。2、ZooKeeper的设计目标 分布式环境下的程序和活动为了达到协调一致的目的,通常具有某些共同的特原创 2017-12-11 18:09:54 · 291 阅读 · 0 评论 -
【Hadoop】之HA高可用性
1、基本定义 HA:High Available,译为:高可用性。 Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)。对于只有一个NameNode的集群,若NameNode机器出现故障,则整个集群将无法使用,直到NameNode重新启动。NameNode主要在以下两个方面影响HDFS集群: 1、NameNode机器发生意外,如宕机,集群将无法使用,直到管原创 2017-12-07 18:14:54 · 307 阅读 · 0 评论 -
【Hadoop】之Mapreduce
1、Mapreduce简介 1)Mapreduce是一种分布式计算模型,是google提出的,主要用于搜索领域,解决海量数据的计算问题。 2)Mapreduce有两个阶段:map和reduce,需要实现map()和reduce()两个函数,即可实现分布式计算。2.、mapreduce执行流程3、mapreduce执行原理4、执行步骤 1)Ma原创 2018-01-07 21:07:58 · 243 阅读 · 0 评论 -
【Hadoop】MapReduce之自定义数据类型
Int ——>IntWritable Long——->LongWritable String——>Text Double—->DoubleWritable Float——->FloatWritable Null——–>MullWritable开发步骤 1、创建属性和以及getter、setter和构造方法//创建一个PariWritable的类//属性private原创 2018-01-08 15:28:45 · 499 阅读 · 0 评论