主要写大数据集群一线运维和学习工作经验

hdfs上传变慢原因分析和解决

官网部署文档翻译

hive 分区字段没有用引号括起来，导致hive或spark sql类型的任务执行时间很长

本文描述了 CapacityScheduler，这是一种可插拔的 Hadoop 调度器，它允许多租户安全地共享一个大型集群，从而在分配容量的限制下及时为其应用程序分配资源。

cpu 监控命令，报告处理器相关的统计数据。

Yarn Service 框架提供了一个类拉来支持和 API来在 Yarn 中本地托管长期运行的服务。简而言之，它是一个容器编排平台，用于管理 YARN 上的容器化服务。它既支持 docker 容器，也支持传统的基于进程的容器。该框架的职责包括执行配置解析和挂载、生命周期管理(如停止/启动/删除服务)、伸缩服务组件、在 YARN 上滚动升级服务、监控服务的健康和就绪情况等等。...

linux sysctl命令修改系统内核配置

通过XShell登录主机，从日志看可以登录上，只不过登录成功之后立马闪退，并报权限拒绝。

阅读本章，基于已经阅读了Flink Table API & SQL - 概念和通用API这是Flink中支持的数据定义语言(DDL)和数据操作语言(DML)构造的完整列表。目录查询初始化查询支持的语法操作DDL指定DDL建表PARTITIONED BYWITH OPTIONS删表IF EXISTS数据类型保留关键字查询...

load average高查看负载情况命令topuptimew判断负载高问题的命令mapstatmpstat 5 4 每5秒打印1次 CPU 使用情况，一共打印4次％usr: 显示在用户级（应用程序）执行时发生的CPU利用率百分比。 ％nice: 显示以优先级较高的用户级别执行时发生的CPU利用率百分比。 ％sys: 显示在系统级（内核）执行时发生的CPU利用率百分比。请注意，这不包括维护硬件和软件的时间中断。 ％iowait: 显示系统具有未完成磁

升级步骤从0.8.x, 0.9.x, 0.10.0.x, 0.10.1.x, 0.10.2.x, 0.11.0.x, 1.0.x, 1.1.x, 2.0.x or 2.1.x or 2.2.x, 2.3.x, 2.4.x 升级到2.5.0如果您正在从2.1.x之前的版本升级。请参阅下面关于用于存储消费者偏移量的模式更改的注释。一旦您更改了 inter.broker.protocol.version 到最新版本时，将不可能降级到2.1之前的版本。滚动升级：1、更新 server.proper.

classpathdfsenvvarsfetchdtfsckgetconfgroupshttpfslsSnapshottableDirjmxgetoevoivoiv_legacysnapshotDiffversion

vmstat命令vmstat 命令的含义为显示虚拟内存状态（“Virtual Memory Statistics”），但是它可以报告关于进程、内存、I/O等系统整体运行状态。语法vmstat(选项)(参数)选项-a：显示活动内页； -f：显示启动后创建的进程总数； -m：显示slab信息； -n：头信息仅显示一次； -s：以表格方式显示事件计数器和内存状态； -d：报告磁盘状态； -p：显示指定的硬盘分区状态； -S：输出信息的单位。参数事件间隔：状态信息刷新的.

介绍视图文件系统(ViewFs)提供了一种管理多个Hadoop文件系统名称空间(或名称空间卷)的方法。对于具有多个namenode的集群，因此在HDFS联合中具有多个名称空间，这一点特别有用。ViewFs类似于某些Unix/Linux系统中的客户端挂载表。ViewFs可以用来创建个性化的名称空间视图，也可以创建每个集群的通用视图。...

概述纱线命令由bin/纱线脚本调用。运行不带任何参数的纱线脚本将打印所有命令的描述。Usage: yarn [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [SUB_COMMAND] [COMMAND_OPTIONS]纱线有一个选项解析框架，它使用解析泛型选项和运行类。COMMAND_OPTIONS Description SHELL_OPTIONS 一组常见的shell选项。这些都记录在命令手册页上。 GENERIC_OPTIONS

目的这个文档全面描述了 Hadoop MapReduce 框架面向用户的所有方面，作为一个教程。前提条件确保 Hadoop 已安装、配置并正在运行。更多的细节： Single Node Setup for first-time users. Cluster Setup for large, distributed clusters. 概述Hadoop MapReduce 是一个软件框架，可以轻松地编写在大型集群(数千个节点)上并行处理大量数据(兆兆字节数据集)的应

iostat命令iostat 命令被用于监视系统输入输出设备和 CPU 的使用情况。它的特点是汇报磁盘活动统计情况，同时也会汇报出 CPU 使用情况。同 vmstat 一样，iostat 也有一个弱点，就是它不能对某个进程进行深入分析，仅对系统的整体情况进行分析。语法iostat(选项)(参数)选项-c：仅显示CPU使用情况； -d：仅显示设备利用率； -k：显示状态以千字节每秒为单位，而不使用块每秒； -m：显示状态以兆字节每秒为单位； -p：仅显示块设备和所有被使用的其他分区

主机上需要安装 jq 用来解析 json 串通过 curl 访问 Ambari API，获取 json 格式的数据curl -u ${username}:${password} -sS -G "${url_base_path}services/YARN/components/RESOURCEMANAGER"获取 resourcemanager 的总数rm_total=`echo $rm_json| jq '.ServiceComponentInfo.total_count'`获取.

主机上需要安装 jq 用来解析 json 串访问 API，获取 json 数据curl -s --negotiate -u : "$rm:8088/ws/v1/cluster/scheduler"通过 jq 命令来解析队列部分的数据queue_json=`echo $queue_json|jq '.scheduler.schedulerInfo.queues'`获取队列总数量queue_json_size=`echo $queue_json|jq '.queue[]|.q.

使用 hdfs oiv 命令解析 namenode fsimage 文件，输入为 , 号分隔的文本文件hdfs oiv -i $fsimage -t /data1/zpf/ops/small_file/tmp/ -o /data1/zpf/ops/small_file/fsimage.txt -p Delimited -delimiter ,在hive上建一个表将数据 put 到 hive 表对应的 hdfs 目录上hadoop fs -put -f /data1/zpf/ops/sma