zl_8long的博客

原创 02_数组

注：本部分为自学内容，学习过程中整理笔记方便以后查阅。课件内容来自尚学堂，教程地址：https://www.bilibili.com/video/BV1Kb411W75N?p=632.1 数组概述（数组有序排列）数组(Array)：是多个相同类型数据按一定顺序排列的集合，并使用一个名字命名，并通过编号的方式对这些数据进行统一管理。常见概念： 数组名 下标(或索引) 元素 数组的长度概述： 数组本身是引用数据类型，而数组中的元素可以是任何数据类型，包括基本数据类型和引用数据类型。

原创 01_基础语法(下)：程序流程控制

注：本部分为自学内容，学习过程中整理笔记方便以后查阅。课件内容来自尚学堂，教程地址：https://www.bilibili.com/video/BV1Kb411W75N?p=631.5 程序流程控制前言：Scanner类的使用1、导包：import java.util.Scanner;2、Scanner 的实例化： Scanner scan = new Scanner(System.in);3、调用Scanner类的相关方法，来获取指定类型的变量。int num = scan.nextInt

原创 Kafka_04 架构深入-zookeeper

3.4 Kafka高效读写数据1）顺序写磁盘Kafka 的 producer 生产数据，要写入到 log 文件中，写的过程是一直追加到文件末端，为顺序写。官网有数据表明，同样的磁盘，顺序写能到 600M/s，而随机写只有 100K/s。这与磁盘的机械机构有关，顺序写之所以快，是因为其省去了大量磁头寻址的时间。2）零复制技术正常的读取文件：先将文件读进操作系统（kernel space），然后到用户空间（user space，即代码），然后再由用户空间到操作系统层（代码无法直接操作文件，操作系统底层

原创 01_基础语法(上)：变量与运算符

1、变量1.1 变量分类-按数据类型对于每一种数据都定义了明确的具体数据类型（强类型语言），在内存中分 配了不同大小的内存空间。1.2 变量分类-按声明位置在方法体外，类体内声明的变量称为成员变量。在方法体内部声明的变量称为局部变量。注意：二者在初始化值方面的异同:同：都有生命周期异：局部变量除形参外，需显式初始化。1.3 变量详解1.3.1 整数类型java的整型常量默认为 int 型，声明long型常量须后加‘l’或‘L’java程序中变量通常声明为int型，除非不足以表示较

原创 start with connect by prior的使用（Oracle）

注：ums_domain 表XX省数据为例一、语法格式：select * from tablename where 条件 start with code = 'xxxxxx'connect by code = prior parent_domain_code;ps：执行顺序为先执行start with connect by prior，然后再按照where条件进行过滤。二、语法说明：start with: 遍历的开始节点，可以是父节点也可以是子节点connect by prior

原创 CDH集群关闭和启动

关闭集群关闭集群所有组件关闭Cloudera Management Service关闭cdh所有客户端节点sudo /opt/cm-5.3.2/etc/init.d/cloudera-scm-agent hard_stop_confirmed关闭cdh所有服务端节点sudo /opt/cm-5.3.2/etc/init.d/cloudera-scm-server stop启动集群启动服务端sudo /opt/cm-5.3.2/etc/init.d/clouder

原创 Kafka_03 架构深入-消费者

3.3 Kafka 消费者3.3.1 消费方式consumer 采用 pull（拉）模式从 broker 中读取数据。push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由 broker 决定的。它的目标是尽可能以最快速度传递消息，但是这样很容易造成 consumer 来不及处理消息，典型的表现就是拒绝服务以及网络拥塞。而 pull 模式则可以根据 consumer 的消费能力以适当的速率消费消息。pull 模式不足之处是，如果 kafka 没有数据，消费者可能会陷入循环中，一直返回

原创 Kafka_02 架构深入-生产者

第3章 Kafka架构深入3.1 Kafka 工作流程及文件存储机制工作流程：Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic的。topic 是逻辑上的概念，而 partition 是物理上的概念，每个 partition 对应于一个 log 文件，该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该log 文件末端，且每条数据都有自己的 offset。消费者组中的每个消费者，都会实时记录自己消

原创 窗口函数详解及示例

前言：笔记参考自来源如下作者：夜希辰链接：https://www.jianshu.com/p/3f3cf58472ca来源：简书著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。一、窗口函数语法前言：我们在学习hive窗口函数的时候，一定要先了解窗口函数的结构。而不是直接百度sum() over()、row_number() over()、或者count() over()的用法，如果这样做，永远也掌握不到窗口函数的核心。over()才是窗口函数，而sum、row_number

原创 Oracle备份库（问题版）

一、正式数据库1、登录正式数据库所在主机，导出脚本#!/bin/bash #描述：导出数据库系统配置类的表source ~/.bash_profilebak_data=`date +%Y%m%d`cd /data/db_bak/xxxxxxecho "`date +%Y-%m-%d\ %H:%M:%S`-------------系统参数表备份-----开始--------------------"exp user/password tables=\(audit_data%\) file

原创 Oracle备份库（正常版）

登录数据库所在主机，写数据导出脚本导出文件传到测试库所在服务器，写传输脚本将传输脚本做定时任务，晚上传输完毕，明天来了直接导入数据导入之前需要关闭数据库[oracle@DSJ-RTB-4T-349 ~]$ sqlplus jt_audit/dWsOfT#166 as sysdbaSQL*Plus: Release 11.2.0.1.0 Production on Thu Oct 22 10:04:08 2020Copyright (c) 1982, 2009, Oracle. All ri

原创 Kafka_01-概述、常用命令行

参考：尚硅谷Kafka教程第1章 Kafka概述1.1 定义Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。1.2 消息队列1.2.1 传统消息队列的应用场景使用消息队列的好处1）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2）可恢复性系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。3）

原创 redis安装

前言公司新上项目，需要安装一个新的redis，故整理笔记记录安装过程，方便以后学习。redis下载地址：http://download.redis.io/releases/一、安装1、选择安装路径：/data/dwca[root@xxxxxx data]# cd /data/[root@xxxxxx data]# lltotal 2172drwxr-x--- 2 root root 4096 Oct 20 15:15 dwcadrwxr-x--- 2 root

原创 Zookeeper简介（01）

第1章 Zookeeper入门官网：https://zookeeper.apache.org/1.1 概述Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的 Apache 项目。Zookeeper工作机制：Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。1.2 特点

原创 Kafka集群搭建（生产环境）

1、主机历史版本清理因服务器之前安装过zookeeper和kafka，不确定是否会对新装服务产生影响，为避免对新装集群产生冲突，故将原来文件备份到其他服务器，然后本机删除。原有路径：各主机均在 /data/opt/下备份路径：xx.xxx.xx.xxx：/data/******/kafka_bak/2、安装包下载本次下载zookeeper版本为3.4.14，Kafka版本为2.12-2.5.1Zookeeper下载路径：https://mirrors.cnnic.cn/apache/zookee

原创 00_Java实用技巧总结

1、Java规范的3种注释方式：单行注释： // 注释文字多行注释： /* 注释文字 /文档注释（Java特有）：/**@author：指定Java程序的作者@version：指定源文件的版本*/2、Java命名规范：包名：多单词组成时所有字母都小写：xxxyyyzzz类名、接口名：多单词组成时，所有单词的首字母大写：XxxYyyZzz变量名、方法名：多单词组成时，第一个单词首字母小写，第二个单词开始每个 单词首字母大写：xxxYyyZzz常量名：所有字母都大写。多单词时每个单词用下

原创 Oracle表空间常用操作

1、查出指定表空间使用空间最大的前20对象Select OWNER || ',' || SEGMENT_NAME || ',' || SEGMENT_TYPE || ',' || total from (select OWNER, SEGMENT_NAME, SEGMENT_TYPE, bytes / 1024 / 1024 total from dba_segments where TABLESPACE_NAME = '表空间名' order

原创 Oracle常用指令

1、表字段增删改（1）增加、删除、修改表字段增加格式：alter table 表名 add (字段名 字段类型);alter table ORDER_AUDIT_STATEMENT add (LOSS_COST_ERROR_SUM varchar(64));删除格式：alter table 表名 drop (字段名);alter table ORDER_AUDIT_STATEMENT drop (user_id,prov_id);修改格式：alter table 表名 modify (字段

原创 spool方式从Oracle导出数据

spool：通过spool 命令，可以将select 数据库的内容写到文件中，通过在sqlplus设置一些参数，使得按指定方式写到文件中#!/bin/bash#provs="010 011 013 017 018 019 030 031 034 036 038 050 051 059 070 071 074 075 076 079 081 083 084 085 086 087 088 089 090 091 097"provs="010 091"table_name="table_name"

原创 YARN体系结构、原理、运行机制

YARN体系结构、原理、运行机制（1）- 简介ResourceManager（RM）全局的资源管理器，负责整个系统的资源管理和分配，它带了FIFO、Capacity Schedule、Fair Schedule三种常用调度器NodeManager（NM）每个节点上的资源和任务管理器，定时地向RM汇报本节点上的资源以及使用情况和各个Container的运行状态,接收并处理来自AM的Container启动/停止等各种请求。ApplicationMaster（AM）用户提交的每个应用程序均包含一个

原创 HDFS体系结构、原理、运行机制

HDFS体系结构、原理、运行机制（一）-简介Namenode：维护着整个文件系统的文件目录树，文件/目录的元信息和文件的数据块索引，即每个文件对应的数据块列表；接收数据节点的注册、心跳、数据块提交等信息上报，发送数据块复制、删除、恢复等名字节点指令DataNode：将HDFS数据块写到Linux本地文件系统的实际文件中，并不断将当前存储的数据块(block)报告给namenode,并接收namenode的指令来创建、删除、移动本地磁盘的数据块。Block(数据块)：一个文件是被切分成多个Block

原创 大数据运维职责及架构图