![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 52
zhuojunjian2009
这个作者很懒,什么都没留下…
展开
-
socket的总结(2016-02)
socket是一个基础内容,包括hadoop里面的RPC等,都会用到它,所以简单学习了一下,如下是一个总结。socket的理解:1.socket 这个概念没有对应一个具体的实体,它描述计算机之间完成相互通信的一种抽象功能;2.socket的产生背景:解决网络中进程之间如何通信。如何识别网络中的进程?使用了网络节点(IP地址)+协议+端口号的信息来解决。3.利用三元组(IP地原创 2016-03-14 23:04:30 · 362 阅读 · 0 评论 -
如何用IDE调试MR任务(二)(2016-01)
一个实际调试过程:1.采用原理是JAVA的远程调试机制;2.在map任务/reduce任务(跑在一个container上的进程)启动时,添加jar远程调试的命令:-Xdebug -Xnoagent -Xrunjdwp:transport=dt_socket,address=8000,server=y,suspend=y具体添加操作方式:找map任务/reduce任务启动时的输入原创 2016-02-28 20:11:10 · 632 阅读 · 0 评论 -
如何用IDE调试MR任务(一)(2016-01)
MR任务和普通的JAVA进程不太一样的地方是:它们是将jar包等搬到YARN上(MR的资源调度平台)去执行的。调试起来有些地方就不太懂了。最近自己摸索了下,用于解决如下两个场景,将其跑通:1.在提交MR任务后,跟踪MR任务逻辑处理;2.在整个调试过程中,同时印证MR的工作原理;还未搞明白的问题:1.业务逻辑代码对应的jar包,经过MR的接口处理后,会放在HDFS原创 2016-02-28 20:14:35 · 764 阅读 · 0 评论 -
Namenode学习(1)--初始化流程
从概述里面大致知道了namenode该做哪些事情。下面开始分析下namenode的初始化流程。它主要完成如下事情:1.初始化各个重要成员变量(包括rpc服务器等),初始化FSNamesystem(加载FMImage文件)2.创建和启动HTTP服务器;3.启动RPC服务器;4.启动回收站线程。详细的代码阅读如下:重要方法NameNode.initialize()在in原创 2013-07-26 14:17:49 · 1568 阅读 · 0 评论 -
Namenode学习(1)--概述
首先先明确namenode节点需要完成什么工作。了解一个东西,一般可以从了解它的数据结构(存放什么东西),推断出它担任着什么责任,从事什么工作。对于namenode,它维护着两种重要的信息:1:文件元数据(目录/文件名称等)和其数据块索引;--常称为第一种关系;2:数据块和datanode节点的对应关系。 -常称为第二种关系;其中:1.对于文件元数据和数据块索引:其内容原创 2013-07-25 18:15:07 · 571 阅读 · 0 评论 -
从零开始学习HDFS--搭建HDFS的eclipse工程
新版本的HDFS代码需要用到maven,要集成此工具到eclipse,找了好多资料,才搞定。具体可以参考这个:http://www.huqiwen.com/2012/04/26/eclipse-install-maven-plugin/原创 2013-07-18 22:21:19 · 375 阅读 · 0 评论 -
从零开始学习HDFS-初步计划
Namenode initialization flowNameNode的初始化流程,分析启动过程中涉及的主要类结构fsimage的加载过程加载本地fsimage的过程fsimage存储的格式editlog的加载过程本地和Bk的editlog加载editlog存储的格式editlog的写、读、finalize原创 2013-07-12 19:08:37 · 356 阅读 · 0 评论 -
安全认证(一)--- 概貌
安全特性一般包括加密、认证和鉴权。hadoop的安全认证过程很复杂,但玩大数据的人,总要知道一些基本概念、业务框架和大致业务过程。我的博文是来自其他高手总结,加上一些书籍摘要和个人理解,汇总而成,不为其他,只为方便自己查阅。若有写得不对的 ,请大家帮忙指正。先澄清几个基本概念:【关于JAAS和Java GSS-API】(来自https://docs.oracle.com/javase/1...原创 2018-10-31 11:17:00 · 201 阅读 · 0 评论