Hadoop
文章平均质量分 87
Jevic
命运自己主宰,拼搏才会精彩!
展开
-
Zookeeper基础安装--伪分布式集群配置
Apache ZooKeeper™简介Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来,现在已经成为了 Apache 的顶级项目。Zookeeper 为分布式系统提供了高效可靠且易于使用的协同服务,它可以为分布式应用提供相当多的服务,诸如统一命名服务,配置管理,状态同步和组服务等。Zookeeper 接口简单,开发人员不必过多地纠结在分布式系统原创 2016-12-26 15:47:12 · 602 阅读 · 0 评论 -
Hadoop分布式集群安装配置教程
hadoop原创 2016-12-18 12:04:10 · 1182 阅读 · 0 评论 -
Spark 分布式集群配置示例
本文概述:Hadoop 2.6.5 版本, 需要事先配置好Hadoop的分布式集群环境如果没有配置好Hadoop的分布式集群环境,请点击查看 Hadoop分布式集群安装配置教程spark 版本 spark-2.0.2-bin-hadoop2.6统一使用hadoop 用户并给予 sudo 授权原创 2016-12-26 18:55:07 · 432 阅读 · 0 评论 -
Spark 安装配置及基本操作示例
简介:Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。原创 2016-12-26 17:26:47 · 570 阅读 · 0 评论 -
Hadoop HA 高可用平台配置实例
概述Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;原创 2016-12-24 12:56:45 · 527 阅读 · 0 评论 -
spark standalone work扩展
所有节点配置Java环境以及下载spark安装包所有节点配置hosts文件192.168.2.28 master 192.168.2.29 node1 192.168.2.30 node2 1. 创建spark用户[root@master ~]# useradd spark [root@node1 ~]# useradd spark2. 配置免秘钥登录具体操作查看此处: http://b原创 2017-02-09 15:45:56 · 632 阅读 · 0 评论