hadoop
zhm1002
这个作者很懒,什么都没留下…
展开
-
yarn 显示 vcores、memory 机制
以spark 提交 任务为例:yarn作为cluster manager时,spark(以client模式为例)用spark-submit提交应用程序(或者是spark-shell交互操作)不加任何资源参数时,会使用如下几个默认配置来向yarn的resourcemanager申请container资源:spark.executor.memory 1gspark.executor.cores 1spark.executor.instances 2spark.yarn.am...原创 2020-12-23 19:43:49 · 3584 阅读 · 0 评论 -
hadoop2.x常用端口列表
Hadoop集群的常用端口列表这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper:组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS .原创 2020-11-27 14:54:52 · 242 阅读 · 0 评论 -
HDFS滚动升级
1.说明HDFS滚动升级允许独立的升级单个HDFS守护进程。比如说:datanodes可以独立于namenodes单独升级,一个namenode可以独立于其它的namenodes单独升级,namenodes可以独立于datanodes和journal nodes单独升级。2.升级在hadoop v2中,HDFS支持高可用的namenodes提供服务和线性的兼容。这两个功能使得升级HDFS而不用停机成为可能,为了在不停机的情况下升级HDFS集群,集群必须是HA方式。如果一个特性在新版本的软件可原创 2020-11-25 10:27:33 · 386 阅读 · 0 评论 -
基于 hadoop RPC 协议开发的服务和客户端添加 kerberos 认证
服务端:这次开发的服务有两个前提设置:1)是基于NN启动而启动的。2)使用了 kerberos 认证。3)使用自己设置的端口和进程单独服务。所以,在服务启动时可以使用NN的kerberos 认证信息进行认证。在启动服务前,通过HADOOP 的配置文件获取到 principal 和 keyTabPath 并将principal 的值赋于CommonConfigurationKeys.HADOOP_SECURITY_SERVICE_USER_NAME_KEY 这个配置参数。然后获..原创 2020-06-23 12:06:55 · 433 阅读 · 0 评论 -
hadoop 序列化
HADOOP 的 I/O 是由传统的 I/O 系统发展而来,需要处理 PB、TB级别的数据,所以包含类一些面向海量数据处理的基本输入输出工具。1)序列化: 对象的序列化用于将对象编码为一个字节流,以及从字节流中重新构建对象。 将一个对象编码成一个自己流称为序列化该对象(Serializing) 相反的处理过程称为反序列化(Deserializing)序列化有三种主要的用途: 1)作为一种持久化格式,存储到磁盘。 2)作为一种通信数据格式,从一个服务器传到另一个...原创 2020-06-09 18:13:59 · 308 阅读 · 0 评论 -
org.apache.hadoop.conf.Configuration 成员变量
非静态成员变量:1)private boolean quietmode = true;设置加载的配置模式,默认为 true,加载解析配置文件的过程中不会打印日志。开发人员的调试变量。2)private ArrayList<Resource> resources = new ArrayList<Resource>();保存了addResource() 方法添加 Configuration 对象的资源。有以下几种形式:#CLASSPATH 资源public voi原创 2020-06-09 17:28:40 · 982 阅读 · 0 评论 -
Federation操作文档
原主节点信息node1$ jps42207 DFSZKFailoverController3069 QuorumPeerMain42108 JournalNode46157 Jps48337 NameNodenode2$ jps44149 QuorumPeerMain17845 ApplicationHistoryServer14798 Jps6844 Bootstrap...原创 2019-08-22 15:49:02 · 125 阅读 · 0 评论