- 博客(54)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 管理类联考-英语 : 基础 [ 四 ]
宾语不缺成分!!!!一 . 从句= 陈述句二. 从句 = 一般疑问句I don’t know if/whether you love me.一般疑问句句改为 if/ whether+陈述语序1. 用whether禁if的三种情况1). or not对whether很专⼀ We ...
2019-02-27 22:03:40
830
原创 Redis 单节点千万级别数据读取 , 插入 Mysql 性能测试.
环境说明: Redis 未做任何优化, 单节点 (服务器上, 内存64G). Mysql 未做任何优化, 单节点 (服务器上, 内存64G). 数据量 ： 10058624条 （大约一千零6万条数据，本地机器运行读取插入操作.） 数据大小 ： 1093.5...
2019-02-26 14:35:38
3268
原创 管理类联考-英语 : 基础 [ 三 ]
关系代词:that, which, who, whom, whose, as关系副词有:when, where, why=============================================================定语从句:The buildings whose names are strange are located in ...
2019-02-25 21:38:05
509
原创 Redis 单节点千万级别数据 写入,读取 性能测试.
本文是对Redis 单节点,针对不同的数据类型,做插入行测试. 数据总条数为:10058624 环境说明: Redis 未做任何优化, 单节点 (服务器上, 内存64G). 数据量 ： 10058624条 （大约一千零6万条数据，本地机器运行读取插入操作.） 数据大小 ： 1093.56MB （...
2019-02-25 18:51:56
22218
3
翻译 Redis-5.0.3 快速入门 & 安装 & 配置& 拒绝连接
本自述文件只是一个快速*快速入门*文档。您可以在[redis.io]（https://redis.io）找到更详细的文档。=============================================================常用命令:一.安装.1. 下载: https://redis.io/download2. 下载文件& 解压...
2019-02-25 11:06:58
2744
原创 MEM-英语 : 单词速记整理
构词法记忆1.【前缀】pro-，表示“向前” progress ['prɑɡrɛs] v./n. 进步，发展;前进 pro-向前，gress 走→进步，发展 prohibit [prə(ʊ)‘hɪbɪt] v. 阻止，禁止 pro-向前，hibit 拿住→向前拿住→禁止 prospect [‘prɒspekt] n. 景色，前景 ...
2019-02-24 00:51:06
18563
原创 管理类联考-英语 : 基础 [ 二 ]
定语:用来修饰、限定、说明名词或代词的品质与特征的。 [ adj.]一个 卖萌的 菇凉 定语一只 对女朋友很好小心翼翼辛苦劳动还被批评了的 小猫 定语从句这个买面条的熊猫是个功夫大师The panda who sells noo...
2019-02-23 15:49:08
2322
原创 Spark2.3.2源码解析： 4.3.Yarn cluster 模式 Executor 注册/启动源码 分析
本文章与前两篇文章有衔接性, 想知道为什么从此处代码开始的话,请查阅前两篇文章:Spark2.3.2源码解析： 4.1.Yarn cluster 模式 SparkSubmit源码分析（一）https://blog.csdn.net/zhanglong_4444/article/details/84875818Spark2.3.2源码解析： 4.2.Yarn clust...
2019-02-22 17:45:36
3161
翻译 Hadoop3.2.0 编写YARN应用程序
目的 概念和流程 接口 编写一个简单的YARN应用程序 写一个简单的客户端 编写ApplicationMaster（AM） 常问问题 如何将应用程序的jar分发给需要它的YARN集群中的所有节点？ 我如何获得ApplicationMaster的ApplicationAttemptId？ 为什么我的容器被NodeManager杀死了？ 如何包含本机库？ 有用的链...
2019-02-21 06:42:20
3592
原创 管理类联考-英语 : 基础 [ 一 ]
十大词性: 英语名称 作用 例词 名词 Noun(n.) 表示人或事物的名称 student学生; China 代词 Pronoun (pron.) 用来代替名词、形容词或数...
2019-02-21 06:40:09
2504
翻译 Hadoop3.2.0 YARN Timeline Service
YARN时间线服务器概观 部署 时间线服务器REST API V1 域名/ ws / v1 /时间线/域名 发布时间轴实体 时间线实体列表 时间线实体 时间线事件列表 关于 申请清单 应用 申请尝试清单 申请尝试 集装箱清单 容器 时间线服务器性能测试工具概观介绍通过时间线服务器在YARN中以通用方式存储和检索应用程序的当前和历史信息。它有两个职责：...
2019-02-21 06:39:59
11362
3
翻译 Hadoop3.2.0 YARN Timeline Service v.2
Overview Introduction Architecture Current Status and Future Plans Deployment Configurations Enabling Timeline Service v.2 Upgrade from alpha1 to alpha2 Publishing application specific ...
2019-02-21 06:39:50
5072
翻译 Hadoop3.2.0 Web应用程序代理
概述 介绍 当前状态 部署 配置 运行Web应用程序代理 概述介绍Web应用程序代理是YARN的一部分。默认情况下，它将作为资源管理器（RM）的一部分运行，但可以配置为在独立模式下运行。代理的原因是通过YARN降低基于Web的攻击的可能性。在YARN中，Application Master（AM）有责任提供Web UI并将该链接发送给RM。这开辟了许多潜在的问题。...
2019-02-21 06:39:37
3297
翻译 Hadoop3.2.0 YARN资源配置
概观YARN支持可扩展的资源模型。默认情况下，YARN会跟踪所有节点，应用程序和队列的CPU和内存，但资源定义可以扩展为包含任意“countable”资源。可数资源是在容器运行时消耗的资源，但之后会释放。CPU和内存都是可数资源。其他示例包括GPU资源和软件许可证。此外，YARN还支持使用“resource profiles”，允许用户通过单个配置文件指定多个资源请求，类似于Amazon ...
2019-02-21 06:39:31
5203
翻译 Hadoop3.2.0 YARN ResourceManager HA
介绍 架构 RM故障转移 恢复以前的active-RM状态 部署 配置 管理员命令 ResourceManager Web UI服务 网页服务 负载均衡器设置 介绍本指南概述了YARN ResourceManager的高可用性，并详细介绍了如何配置和使用此功能。ResourceManager（RM）负责跟踪集群中的资源，以及调度应用程序（例如，MapRedu...
2019-02-21 06:39:11
5058
翻译 Hadoop3.2.0 YARN ResourceManager restart
概述特征 配置 启用RM重启 配置状态存储以保持RM状态 如何选择州商店实施 基于Hadoop FileSystem的状态存储实现的配置 基于ZooKeeper的状态存储实现的配置 基于LevelDB的状态存储实现的配置 保持工作的RM恢复配置 笔记 示例配置概述ResourceManager是管理资源和调度在YARN上运行的应用程序的中央权限。因此，...
2019-02-20 11:38:16
3630
翻译 Hadoop3.2.0 YARN CGroup
CGroups配置 CGroups挂载选项 CGroups和安全CGroups是一种机制，用于将任务集及其所有未来子集聚合/分区为具有专门行为的层次组。CGroups是Linux内核功能，并且已合并到内核版本2.6.24中。从YARN的角度来看，这允许容器的资源使用受到限制。一个很好的例子是CPU使用率。没有CGroups，就很难限制容器CPU的使用。CGroups配置本节介绍使用C...
2019-02-20 11:25:12
3475
翻译 Hadoop3.2.0 YARN Fair Scheduler
Hadoop：Fair Scheduler目的 介绍 具有可插入策略的分层队列 自动将应用程序放入队列中 安装 组态 可以放在yarn-site.xml中的属性 分配文件格式 队列访问控制列表 预订访问控制列表 配置ReservationSystem 管理 在运行时修改配置 通过Web UI进行监控 在队列之间移动应用程序 倾倒公平调度程序状态...
2019-02-20 11:18:21
3569
3
翻译 Hadoop3.2.0 YARN 容量调度程序
Hadoop：容量调度程序目的 概观 特征 配置 设置ResourceManager以使用CapacityScheduler 设置队列 队列属性 设置应用程序优先级。 Capacity Scheduler容器抢占 预订属性 使用CapacityScheduler配置ReservationSystem 叶子队列的动态自动创建和管理 其他属性 查看Cap...
2019-02-20 10:57:08
10503
2
原创 Mysql5.7, 千万数据快速插入解决方案（ JDBC方式， 百秒搞定！！！）
最近在弄一件任务，要求测试一下从文本中读取数据，然后向mysql表中插入。要求用JDBC线程导入。要求效率。 环境说明： 数据量 ： 10058624条 （大约一千零6万条数据，本地机器运行） 数据大小 ： 1093.56MB （1.1G） MYSQL版本 : 5.7 ...
2019-02-20 09:14:25
18252
3
翻译 Hadoop3.2.0 YARN 命令
Overview User Commands application or app applicationattempt classpath container jar logs node queue version envvars Administration Commands daemonlog nodemanager proxyserv...
2019-02-20 09:12:18
8342
翻译 Hadoop3.2.0 YARN 简介
YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的守护进程。我们的想法是拥有一个全局ResourceManager（RM）和每个应用程序ApplicationMaster（AM）。应用程序可以是单个作业，也可以是作业的DAG。ResourceManager和NodeManager构成了数据计算框架。ResourceManager是在系统中的所有应用程序之间仲裁资源的最终权限。No...
2019-02-20 09:12:11
8073
1
翻译 Hadoop3.2.0 HDFS DataNode管理员指南
概观 主机级设置 仅限主机名配置 基于JSON的配置 群集级别设置 度量概观Hadoop分布式文件系统（HDFS）名称节点维护所有数据节点的状态。有两种类型的状态。第一种类型描述了datanode的活跃性，指示节点是活的，死的还是陈旧的。第二种类型描述了管理状态，指示节点是在服务中，退役还是在维护中。当管理员停用datanode时，datanode将首先转换为DECOMM...
2019-02-20 09:12:03
8234
翻译 Hadoop3.2.0 HDFS磁盘平衡器
概述 建筑 命令 计划 执行 询问 取消 报告 设置 调试概述Diskbalancer是一个命令行工具，可以在datanode的所有磁盘上均匀分配数据。此工具与Balancer不同， 后者负责集群范围的数据平衡。由于多种原因，数据在节点上的磁盘之间可能存在不均匀的扩散。这可能是由于大量写入和删除或由于磁盘更换造成的。此工具针对给定的datanode运行，并将块从...
2019-02-20 09:11:54
8132
1
翻译 Hadoop3.2.0 HDFS擦除编码
目的 背景 建筑 部署 群集和硬件配置 配置键 启用Intel ISA-L 管理命令 限制目的复制很昂贵 - HDFS中的默认3x复制方案在存储空间和其他资源（例如，网络带宽）中具有200％的开销。但是，对于I / O活动相对较低的暖和冷数据集，在正常操作期间很少访问其他块副本，但仍会消耗与第一个副本相同的资源量。因此，自然的改进是使用擦除编码（EC）代替复制，...
2019-02-20 09:11:40
9911
翻译 Hadoop3.2.0 (合成负载发生器指南) Synthetic Load Generator Guide
概观 概要 测试空间人口 结构生成器 数据生成器 概观合成负载生成器（SLG）是用于在不同客户端负载下测试NameNode行为的工具。用户可以通过指定读取和写入的概率来生成读取，写入和列表请求的不同混合。用户通过调整工作线程数量和操作之间的延迟参数来控制负载强度。在负载生成器运行时，用户可以分析和监视NameNode的运行。当负载生成器退出时，它会输出一些NameNode统...
2019-02-20 09:11:30
7406
翻译 Hadoop3.2.0 HDFS中的内存存储支持
介绍 管理员配置 限制用于内存中副本的RAM 在数据节点上设置RAM磁盘 选择tmpfs（vs ramfs） 安装RAM磁盘 使用RAM_DISK存储类型标记tmpfs卷 确保已启用存储策略 应用用法 使用LAZY_PERSIST存储策略 为目录调用hdfs storagepolicies命令 为目录调用setStoragePolicy方法 通过LAZY_PE...
2019-02-19 16:00:44
10216
1
翻译 Hadoop3.2.0 HDFS中的集中缓存管理
HDFS中的集中缓存管理概述 用例 建筑 概念 缓存指令 缓存池 cacheadmin命令行界面 缓存指令命令 addDirective removeDirective removeDirectives listDirectives 缓存池命令 addPool modifyPool removePool listPool...
2019-02-19 15:53:50
7871
2
翻译 Hadoop3.2.0 HDFS权限指南
概述 用户身份 组映射 许可检查 了解实施 对文件系统API的更改 对应用程序外壳的更改 超级用户 Web服务器 ACL（访问控制列表） ACL文件系统API ACL Shell命令 配置参数概述Hadoop分布式文件系统（HDFS）实现了共享大部分POSIX模型的文件和目录的权限模型。每个文件和目录都与所有者和组相关联。对于作为所有者的用户，作为该组成员的其他用户以...
2019-02-19 15:26:35
8604
翻译 Hadoop3.2.0 HDFS 快照
HDFS快照概观 Snapshottable目录 快照路径 使用快照升级到HDFS版本 快照操作 管理员操作 允许快照 禁止快照 用户操作 创建快照 删除快照 重命名快照 获取Snapshottable目录列表 获取快照差异报告 概观HDFS快照是文件系统的只读时间点副本。可以在文件系统的子树或整个文件系统上拍摄快...
2019-02-19 15:20:02
7473
翻译 Hadoop3.2.0 HDFS Federation
背景 多个名称节点/命名空间 主要优点 联合配置 组态： 格式化名称节点 从旧版本升级并配置联合 将新Namenode添加到现有HDFS集群 管理集群 启动和停止集群 平衡器 退役 群集Web控制台 本指南概述了HDFS联邦功能以及如何配置和管理联邦群集。背景HDFS有两个主要层：Namespace 由目录，文件和块组成。 它...
2019-02-19 14:58:24
8241
2
翻译 Hadoop3.2.0 HDFS HA ( NFS)
目的 注意：使用Quorum Journal Manager或常规共享存储 背景 建筑 硬件资源 部署 配置概述 配置细节 部署细节 管理命令 自动故障转移 介绍 组件 部署ZooKeeper 在你开始之前 配置自动故障转移 在ZooKeeper中初始化HA状态 使用start-dfs.sh启动集群 手动启动集群 保护对ZooKeep...
2019-02-19 14:43:05
8516
翻译 Hadoop3.2.0 HDFS HA ( Quorum Journal Manager )
目的 注意：使用Quorum Journal Manager或常规共享存储 背景 架构 硬件资源 部署 配置概述 配置细节 部署细节 管理命令 负载均衡器设置 自动故障转移 介绍 组件 部署ZooKeeper 在你开始之前 配置自动故障转移 在ZooKeeper中初始化HA状态 使用start-dfs.sh启动集群 手动启动集群...
2019-02-19 14:15:19
7653
翻译 Hadoop3.2.0 HDFS命令指南
HDFS命令指南概览 User Commands classpath dfs envvars fetchdt fsck getconf groups httpfs lsSnapshottableDir jmxget oev oiv oiv_legacy snapshotDiff version Administration...
2019-02-19 12:06:34
9888
1
翻译 Hadoop3.2.0 HDFS 用户指南
HDFS用户指南目的 概览 先决条件 Web界面 Shell命令 DFSAdmin命令 Secondary NameNode 检查点节点 备份节点 导入检查点 负载均衡 机架意识 安全模式 fsck的 fetchdt 恢复模式 升级和回滚 DataNode热插拔驱动器 文件权限和安全性 可扩展性 相关文档目的本文档是使用Hadoop分布式文件系...
2019-02-19 11:34:37
9808
翻译 Hadoop3.2.0 HDFS架构
介绍 假想和目标 硬件故障 流式数据访问 大数据集 简单的一致性模型 “移动计算比移动数据便宜” 跨异构硬件和软件平台的可移植性 NameNode和DataNodes 文件系统命名空间 数据复制 副本安置：The First Baby Steps 副本选择 安全模式 文件系统元数据的持久性 通信协议 稳健性 数据磁盘故障，心跳和重新复制 ...
2019-02-19 10:34:15
9737
翻译 Hadoop3.2.0 Hadoop 机架感知
Hadoop组件具有机架感知功能。例如，通过将一个块的分片放在不同的机架上，HDFS块放置将使用机架感知来实现容错。这可以在群集中发生网络切换故障或分区时提供数据可用性。Hadoop主守护进程通过调用配置文件指定的外部脚本或java类来获取集群工作者的机架ID。使用java类或外部脚本进行拓扑，输出必须遵循java org.apache.hadoop.net.DNSToSwitchMappin...
2019-02-18 23:26:19
9162
1
原创 Hadoop3.2.0 Hadoop 文件系统 shell命令指南
appendToFile cat checksum chgrp chmod chown copyFromLocal copyToLocal count cp createSnapshot deleteSnapshot df du dus expunge find get getfacl getfattr getmerge head help ls l...
2019-02-18 22:49:17
9563
翻译 Hadoop3.2.0 Hadoop 命令指南
Hadoop命令指南概览 Shell选项 Generic选项 User Commands 用户命令 archive checknative classpath conftest credential distch distcp dtutil fs gridmix jar jnipath kerbname kdiag...
2019-02-18 22:27:13
9268
原创 管理类联考-英语 : 前导（ 四 ）
dic , dict = saydictionary n 字典contradict v 反驳dictate v (使)听写; 指令, 命令predict v 语言, 预测, 预告indicate v 暗示idea , ideo = idea 思想, 观点idea n. 想法; 主意; 概念ideal adj. 理想的; 完美的; n 理想; 典范...
2019-02-18 21:57:08
8873
jdk-8u251-macosx/linux/windows 多版本下载
2020-06-28
Flink基础教程.pdf
2019-05-28
深入理解计算机系统（原书第3版）PDF 计算机科学丛书 [美] 兰德尔 E.布莱恩特
2019-03-08
Java虚拟机规范（Java SE 8版） 带书签
2018-10-26
Thinking in UML(2 edition)
2014-06-24
《谁说菜鸟不会数据分析》入门篇-简版电子书
2014-06-24
[逻辑思维训练500题II].于雷.扫描版
2014-06-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人