【Hadoop】
文章平均质量分 92
zhang_xinxiu
拥有八年Java软件开发工作经验,熟悉主流的开源框架。做过的项目有Enumis银行系统平台,远洋地产SOA智能化系统,高校ERP系统平台,中谷粮仓管理系统,金融业务系统,酒店成单及管理系统,保险业务系统等项目。在技术方面能够快速的掌握新的技术,能够熟练运用常用的设计工具进行软件的设计,具有良好的沟通能力和需求分析能力,能够看懂英文的需求分析文档,能够承受压力。
展开
-
【Hadoop集群】-集群搭建踩的那些坑之ssh篇
用hadoop搭建的集群在启动时子节点一直无法连接到主节点,在使用hadoop集群时一直报错,也就是集群并没有搭建成功,导致了出现了上面的报错信息org.apache.hadoop.ipc.Client: Retrying connect to server: hadoop-master/192.168.1.130:9000. Already tried 0 time(s); ret...原创 2018-12-05 17:29:40 · 3352 阅读 · 0 评论 -
【Hadoop集群】-集群搭建踩的那些坑之hadoop篇
上篇文章说了在集群搭建的时候首先要开启ssh的公钥验证,只有开启了公钥验证后才能够使用公钥登录,但是在开启并生成公钥后还需要对秘钥文件进行授权处理,一般生成的authorized_keys可能文件的归属并不是ssh权限,所以在使用公钥验证的时候无法访问该文件,需要修改文件的归属权。 ssh公钥互相通信搭建好后,这只是第一步,第二步就需要安装配置hadoop和对应的had...原创 2018-12-09 12:24:01 · 3595 阅读 · 0 评论 -
【Hadoop集群】-hadoop运行原理解析
hadoop运行原理解析前言基本结构MapReduceMapper任务(分割及映射)输入拆分-Input Splits映射块-MappingReducer任务(重排,还原)ShuffleSortSecondary Sort减速-ReducerMapReduce任务Hadoop应用示例Mapper类代码Reducer类代码Driver类代码前言前两篇博客讨论了hadoop集群的搭建过程,并介绍了...原创 2019-02-11 12:09:13 · 7309 阅读 · 0 评论