- 博客(54)
- 资源 (13)
- 收藏
- 关注
原创 管理类联考-英语 : 基础 [ 四 ]
宾语不缺成分!!!!一 . 从句= 陈述句二. 从句 = 一般疑问句I don’t know if/whether you love me.一般疑问句句改为 if/ whether+陈述语序1. 用whether禁if的三种情况1). or not对whether很专⼀ We ...
2019-02-27 22:03:40 830
原创 Redis 单节点千万级别数据读取 , 插入 Mysql 性能测试.
环境说明: Redis 未做任何优化, 单节点 (服务器上, 内存64G). Mysql 未做任何优化, 单节点 (服务器上, 内存64G). 数据量 : 10058624条 (大约一千零6万条数据,本地机器运行读取插入操作.) 数据大小 : 1093.5...
2019-02-26 14:35:38 3268
原创 管理类联考-英语 : 基础 [ 三 ]
关系代词:that, which, who, whom, whose, as关系副词有:when, where, why=============================================================定语从句:The buildings whose names are strange are located in ...
2019-02-25 21:38:05 510
原创 Redis 单节点千万级别数据 写入,读取 性能测试.
本文是对Redis 单节点,针对不同的数据类型,做插入行测试. 数据总条数为:10058624 环境说明: Redis 未做任何优化, 单节点 (服务器上, 内存64G). 数据量 : 10058624条 (大约一千零6万条数据,本地机器运行读取插入操作.) 数据大小 : 1093.56MB (...
2019-02-25 18:51:56 22225 3
翻译 Redis-5.0.3 快速入门 & 安装 & 配置& 拒绝连接
本自述文件只是一个快速*快速入门*文档。您可以在[redis.io](https://redis.io)找到更详细的文档。=============================================================常用命令:一.安装.1. 下载: https://redis.io/download2. 下载文件& 解压...
2019-02-25 11:06:58 2745
原创 MEM-英语 : 单词速记整理
构词法记忆1.【前缀】pro-,表示“向前” progress ['prɑɡrɛs] v./n. 进步,发展;前进 pro-向前,gress 走→进步,发展 prohibit [prə(ʊ)‘hɪbɪt] v. 阻止,禁止 pro-向前,hibit 拿住→向前拿住→禁止 prospect [‘prɒspekt] n. 景色,前景 ...
2019-02-24 00:51:06 18574
原创 管理类联考-英语 : 基础 [ 二 ]
定语:用来修饰、限定、说明名词或代词的品质与特征的。 [ adj.]一个 卖萌的 菇凉 定语一只 对女朋友很好小心翼翼辛苦劳动还被批评了的 小猫 定语从句这个买面条的熊猫是个功夫大师The panda who sells noo...
2019-02-23 15:49:08 2323
原创 Spark2.3.2源码解析: 4.3.Yarn cluster 模式 Executor 注册/启动源码 分析
本文章与前两篇文章有衔接性, 想知道为什么从此处代码开始的话,请查阅前两篇文章:Spark2.3.2源码解析: 4.1.Yarn cluster 模式 SparkSubmit源码分析(一)https://blog.csdn.net/zhanglong_4444/article/details/84875818Spark2.3.2源码解析: 4.2.Yarn clust...
2019-02-22 17:45:36 3161
翻译 Hadoop3.2.0 编写YARN应用程序
目的 概念和流程 接口 编写一个简单的YARN应用程序 写一个简单的客户端 编写ApplicationMaster(AM) 常问问题 如何将应用程序的jar分发给需要它的YARN集群中的所有节点? 我如何获得ApplicationMaster的ApplicationAttemptId? 为什么我的容器被NodeManager杀死了? 如何包含本机库? 有用的链...
2019-02-21 06:42:20 3593
原创 管理类联考-英语 : 基础 [ 一 ]
十大词性: 英语名称 作用 例词 名词 Noun(n.) 表示人或事物的名称 student学生; China 代词 Pronoun (pron.) 用来代替名词、形容词或数...
2019-02-21 06:40:09 2504
翻译 Hadoop3.2.0 YARN Timeline Service
YARN时间线服务器概观 部署 时间线服务器REST API V1 域名/ ws / v1 /时间线/域名 发布时间轴实体 时间线实体列表 时间线实体 时间线事件列表 关于 申请清单 应用 申请尝试清单 申请尝试 集装箱清单 容器 时间线服务器性能测试工具概观介绍通过时间线服务器在YARN中以通用方式存储和检索应用程序的当前和历史信息。它有两个职责:...
2019-02-21 06:39:59 11364 3
翻译 Hadoop3.2.0 YARN Timeline Service v.2
Overview Introduction Architecture Current Status and Future Plans Deployment Configurations Enabling Timeline Service v.2 Upgrade from alpha1 to alpha2 Publishing application specific ...
2019-02-21 06:39:50 5074
翻译 Hadoop3.2.0 Web应用程序代理
概述 介绍 当前状态 部署 配置 运行Web应用程序代理 概述介绍Web应用程序代理是YARN的一部分。默认情况下,它将作为资源管理器(RM)的一部分运行,但可以配置为在独立模式下运行。代理的原因是通过YARN降低基于Web的攻击的可能性。在YARN中,Application Master(AM)有责任提供Web UI并将该链接发送给RM。这开辟了许多潜在的问题。...
2019-02-21 06:39:37 3297
翻译 Hadoop3.2.0 YARN资源配置
概观YARN支持可扩展的资源模型。默认情况下,YARN会跟踪所有节点,应用程序和队列的CPU和内存,但资源定义可以扩展为包含任意“countable”资源。可数资源是在容器运行时消耗的资源,但之后会释放。CPU和内存都是可数资源。其他示例包括GPU资源和软件许可证。此外,YARN还支持使用“resource profiles”,允许用户通过单个配置文件指定多个资源请求,类似于Amazon ...
2019-02-21 06:39:31 5203
翻译 Hadoop3.2.0 YARN ResourceManager HA
介绍 架构 RM故障转移 恢复以前的active-RM状态 部署 配置 管理员命令 ResourceManager Web UI服务 网页服务 负载均衡器设置 介绍本指南概述了YARN ResourceManager的高可用性,并详细介绍了如何配置和使用此功能。ResourceManager(RM)负责跟踪集群中的资源,以及调度应用程序(例如,MapRedu...
2019-02-21 06:39:11 5060
翻译 Hadoop3.2.0 YARN ResourceManager restart
概述特征 配置 启用RM重启 配置状态存储以保持RM状态 如何选择州商店实施 基于Hadoop FileSystem的状态存储实现的配置 基于ZooKeeper的状态存储实现的配置 基于LevelDB的状态存储实现的配置 保持工作的RM恢复配置 笔记 示例配置概述ResourceManager是管理资源和调度在YARN上运行的应用程序的中央权限。因此,...
2019-02-20 11:38:16 3630
翻译 Hadoop3.2.0 YARN CGroup
CGroups配置 CGroups挂载选项 CGroups和安全CGroups是一种机制,用于将任务集及其所有未来子集聚合/分区为具有专门行为的层次组。CGroups是Linux内核功能,并且已合并到内核版本2.6.24中。从YARN的角度来看,这允许容器的资源使用受到限制。一个很好的例子是CPU使用率。没有CGroups,就很难限制容器CPU的使用。CGroups配置本节介绍使用C...
2019-02-20 11:25:12 3475
翻译 Hadoop3.2.0 YARN Fair Scheduler
Hadoop:Fair Scheduler目的 介绍 具有可插入策略的分层队列 自动将应用程序放入队列中 安装 组态 可以放在yarn-site.xml中的属性 分配文件格式 队列访问控制列表 预订访问控制列表 配置ReservationSystem 管理 在运行时修改配置 通过Web UI进行监控 在队列之间移动应用程序 倾倒公平调度程序状态...
2019-02-20 11:18:21 3570 3
翻译 Hadoop3.2.0 YARN 容量调度程序
Hadoop:容量调度程序目的 概观 特征 配置 设置ResourceManager以使用CapacityScheduler 设置队列 队列属性 设置应用程序优先级。 Capacity Scheduler容器抢占 预订属性 使用CapacityScheduler配置ReservationSystem 叶子队列的动态自动创建和管理 其他属性 查看Cap...
2019-02-20 10:57:08 10503 2
原创 Mysql5.7, 千万数据快速插入解决方案( JDBC方式, 百秒搞定!!!)
最近在弄一件任务,要求测试一下从文本中读取数据,然后向mysql表中插入。要求用JDBC线程导入。要求效率。 环境说明: 数据量 : 10058624条 (大约一千零6万条数据,本地机器运行) 数据大小 : 1093.56MB (1.1G) MYSQL版本 : 5.7 ...
2019-02-20 09:14:25 18253 3
翻译 Hadoop3.2.0 YARN 命令
Overview User Commands application or app applicationattempt classpath container jar logs node queue version envvars Administration Commands daemonlog nodemanager proxyserv...
2019-02-20 09:12:18 8342
翻译 Hadoop3.2.0 YARN 简介
YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程。我们的想法是拥有一个全局ResourceManager(RM)和每个应用程序ApplicationMaster(AM)。应用程序可以是单个作业,也可以是作业的DAG。ResourceManager和NodeManager构成了数据计算框架。ResourceManager是在系统中的所有应用程序之间仲裁资源的最终权限。No...
2019-02-20 09:12:11 8073 1
翻译 Hadoop3.2.0 HDFS DataNode管理员指南
概观 主机级设置 仅限主机名配置 基于JSON的配置 群集级别设置 度量概观Hadoop分布式文件系统(HDFS)名称节点维护所有数据节点的状态。有两种类型的状态。第一种类型描述了datanode的活跃性,指示节点是活的,死的还是陈旧的。第二种类型描述了管理状态,指示节点是在服务中,退役还是在维护中。当管理员停用datanode时,datanode将首先转换为DECOMM...
2019-02-20 09:12:03 8236
翻译 Hadoop3.2.0 HDFS磁盘平衡器
概述 建筑 命令 计划 执行 询问 取消 报告 设置 调试概述Diskbalancer是一个命令行工具,可以在datanode的所有磁盘上均匀分配数据。此工具与Balancer不同, 后者负责集群范围的数据平衡。由于多种原因,数据在节点上的磁盘之间可能存在不均匀的扩散。这可能是由于大量写入和删除或由于磁盘更换造成的。此工具针对给定的datanode运行,并将块从...
2019-02-20 09:11:54 8132 1
翻译 Hadoop3.2.0 HDFS擦除编码
目的 背景 建筑 部署 群集和硬件配置 配置键 启用Intel ISA-L 管理命令 限制目的复制很昂贵 - HDFS中的默认3x复制方案在存储空间和其他资源(例如,网络带宽)中具有200%的开销。但是,对于I / O活动相对较低的暖和冷数据集,在正常操作期间很少访问其他块副本,但仍会消耗与第一个副本相同的资源量。因此,自然的改进是使用擦除编码(EC)代替复制,...
2019-02-20 09:11:40 9912
翻译 Hadoop3.2.0 (合成负载发生器指南) Synthetic Load Generator Guide
概观 概要 测试空间人口 结构生成器 数据生成器 概观合成负载生成器(SLG)是用于在不同客户端负载下测试NameNode行为的工具。用户可以通过指定读取和写入的概率来生成读取,写入和列表请求的不同混合。用户通过调整工作线程数量和操作之间的延迟参数来控制负载强度。在负载生成器运行时,用户可以分析和监视NameNode的运行。当负载生成器退出时,它会输出一些NameNode统...
2019-02-20 09:11:30 7406
翻译 Hadoop3.2.0 HDFS中的内存存储支持
介绍 管理员配置 限制用于内存中副本的RAM 在数据节点上设置RAM磁盘 选择tmpfs(vs ramfs) 安装RAM磁盘 使用RAM_DISK存储类型标记tmpfs卷 确保已启用存储策略 应用用法 使用LAZY_PERSIST存储策略 为目录调用hdfs storagepolicies命令 为目录调用setStoragePolicy方法 通过LAZY_PE...
2019-02-19 16:00:44 10216 1
翻译 Hadoop3.2.0 HDFS中的集中缓存管理
HDFS中的集中缓存管理概述 用例 建筑 概念 缓存指令 缓存池 cacheadmin命令行界面 缓存指令命令 addDirective removeDirective removeDirectives listDirectives 缓存池命令 addPool modifyPool removePool listPool...
2019-02-19 15:53:50 7871 2
翻译 Hadoop3.2.0 HDFS权限指南
概述 用户身份 组映射 许可检查 了解实施 对文件系统API的更改 对应用程序外壳的更改 超级用户 Web服务器 ACL(访问控制列表) ACL文件系统API ACL Shell命令 配置参数概述Hadoop分布式文件系统(HDFS)实现了共享大部分POSIX模型的文件和目录的权限模型。每个文件和目录都与所有者和组相关联。对于作为所有者的用户,作为该组成员的其他用户以...
2019-02-19 15:26:35 8608
翻译 Hadoop3.2.0 HDFS 快照
HDFS快照概观 Snapshottable目录 快照路径 使用快照升级到HDFS版本 快照操作 管理员操作 允许快照 禁止快照 用户操作 创建快照 删除快照 重命名快照 获取Snapshottable目录列表 获取快照差异报告 概观HDFS快照是文件系统的只读时间点副本。可以在文件系统的子树或整个文件系统上拍摄快...
2019-02-19 15:20:02 7473
翻译 Hadoop3.2.0 HDFS Federation
背景 多个名称节点/命名空间 主要优点 联合配置 组态: 格式化名称节点 从旧版本升级并配置联合 将新Namenode添加到现有HDFS集群 管理集群 启动和停止集群 平衡器 退役 群集Web控制台 本指南概述了HDFS联邦功能以及如何配置和管理联邦群集。背景HDFS有两个主要层:Namespace 由目录,文件和块组成。 它...
2019-02-19 14:58:24 8241 2
翻译 Hadoop3.2.0 HDFS HA ( NFS)
目的 注意:使用Quorum Journal Manager或常规共享存储 背景 建筑 硬件资源 部署 配置概述 配置细节 部署细节 管理命令 自动故障转移 介绍 组件 部署ZooKeeper 在你开始之前 配置自动故障转移 在ZooKeeper中初始化HA状态 使用start-dfs.sh启动集群 手动启动集群 保护对ZooKeep...
2019-02-19 14:43:05 8517
翻译 Hadoop3.2.0 HDFS HA ( Quorum Journal Manager )
目的 注意:使用Quorum Journal Manager或常规共享存储 背景 架构 硬件资源 部署 配置概述 配置细节 部署细节 管理命令 负载均衡器设置 自动故障转移 介绍 组件 部署ZooKeeper 在你开始之前 配置自动故障转移 在ZooKeeper中初始化HA状态 使用start-dfs.sh启动集群 手动启动集群...
2019-02-19 14:15:19 7653
翻译 Hadoop3.2.0 HDFS命令指南
HDFS命令指南概览 User Commands classpath dfs envvars fetchdt fsck getconf groups httpfs lsSnapshottableDir jmxget oev oiv oiv_legacy snapshotDiff version Administration...
2019-02-19 12:06:34 9888 1
翻译 Hadoop3.2.0 HDFS 用户指南
HDFS用户指南目的 概览 先决条件 Web界面 Shell命令 DFSAdmin命令 Secondary NameNode 检查点节点 备份节点 导入检查点 负载均衡 机架意识 安全模式 fsck的 fetchdt 恢复模式 升级和回滚 DataNode热插拔驱动器 文件权限和安全性 可扩展性 相关文档目的本文档是使用Hadoop分布式文件系...
2019-02-19 11:34:37 9808
翻译 Hadoop3.2.0 HDFS架构
介绍 假想和目标 硬件故障 流式数据访问 大数据集 简单的一致性模型 “移动计算比移动数据便宜” 跨异构硬件和软件平台的可移植性 NameNode和DataNodes 文件系统命名空间 数据复制 副本安置:The First Baby Steps 副本选择 安全模式 文件系统元数据的持久性 通信协议 稳健性 数据磁盘故障,心跳和重新复制 ...
2019-02-19 10:34:15 9737
翻译 Hadoop3.2.0 Hadoop 机架感知
Hadoop组件具有机架感知功能。例如,通过将一个块的分片放在不同的机架上,HDFS块放置将使用机架感知来实现容错。这可以在群集中发生网络切换故障或分区时提供数据可用性。Hadoop主守护进程通过调用配置文件指定的外部脚本或java类来获取集群工作者的机架ID。使用java类或外部脚本进行拓扑,输出必须遵循java org.apache.hadoop.net.DNSToSwitchMappin...
2019-02-18 23:26:19 9162 1
原创 Hadoop3.2.0 Hadoop 文件系统 shell命令指南
appendToFile cat checksum chgrp chmod chown copyFromLocal copyToLocal count cp createSnapshot deleteSnapshot df du dus expunge find get getfacl getfattr getmerge head help ls l...
2019-02-18 22:49:17 9563
翻译 Hadoop3.2.0 Hadoop 命令指南
Hadoop命令指南概览 Shell选项 Generic选项 User Commands 用户命令 archive checknative classpath conftest credential distch distcp dtutil fs gridmix jar jnipath kerbname kdiag...
2019-02-18 22:27:13 9268
原创 管理类联考-英语 : 前导( 四 )
dic , dict = saydictionary n 字典contradict v 反驳dictate v (使)听写; 指令, 命令predict v 语言, 预测, 预告indicate v 暗示idea , ideo = idea 思想, 观点idea n. 想法; 主意; 概念ideal adj. 理想的; 完美的; n 理想; 典范...
2019-02-18 21:57:08 8874
jdk-8u251-macosx/linux/windows 多版本下载
2020-06-28
Flink基础教程.pdf
2019-05-28
深入理解计算机系统(原书第3版)PDF 计算机科学丛书 [美] 兰德尔 E.布莱恩特
2019-03-08
Java虚拟机规范(Java SE 8版) 带书签
2018-10-26
Thinking in UML(2 edition)
2014-06-24
《谁说菜鸟不会数据分析》入门篇-简版电子书
2014-06-24
[逻辑思维训练500题II].于雷.扫描版
2014-06-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人