- 博客(38)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 2021-03-15http statusCode(状态码) 200、300、400、500序列
201-206都表示服务器成功处理了请求的状态代码，说明网页可以正常访问。200（成功） 服务器已成功处理了请求。通常，这表示服务器提供了请求的网页。201（已创建） 请求成功且服务器已创建了新的资源。202（已接受） 服务器已接受了请求，但尚未对其进行处理。203（非授权信息） 服务器已成功处理了请求，但返回了可能来自另一来源的信息。204（无内容） 服务器成功处理了请求，但未返回任何内容。...
2021-03-15 11:28:13
1696
原创 yarn 显示 vcores、memory 机制
以spark 提交 任务为例：yarn作为cluster manager时，spark（以client模式为例）用spark-submit提交应用程序（或者是spark-shell交互操作）不加任何资源参数时，会使用如下几个默认配置来向yarn的resourcemanager申请container资源：spark.executor.memory 1gspark.executor.cores 1spark.executor.instances 2spark.yarn.am...
2020-12-23 19:43:49
3574
原创 hadoop2.x常用端口列表
Hadoop集群的常用端口列表这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper:组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS .
2020-11-27 14:54:52
241
原创 Hive 2.3 decimal精度损失问题
1.准备测试数据使用如下建表语句，并插入测试数据：CREATETABLEIFNOTEXISTS test_decimal( md5 string, id int, ty int, amount decimal(38, 12)) stored as orc;insert into table test_decimal values('9F99855A44BD41FE592B69E0D36BF3E8', 4591, 2, 18859...
2020-11-27 10:47:56
2204
原创 HDFS滚动升级
1.说明HDFS滚动升级允许独立的升级单个HDFS守护进程。比如说：datanodes可以独立于namenodes单独升级，一个namenode可以独立于其它的namenodes单独升级，namenodes可以独立于datanodes和journal nodes单独升级。2.升级在hadoop v2中，HDFS支持高可用的namenodes提供服务和线性的兼容。这两个功能使得升级HDFS而不用停机成为可能，为了在不停机的情况下升级HDFS集群，集群必须是HA方式。如果一个特性在新版本的软件可
2020-11-25 10:27:33
386
原创 Hadoop 垃圾回收机制原理及其源码分析
一、两个主要的配置参数：fs.trash.interval默认值为：0（代表删除的数据不进入垃圾桶，直接删除）单位：分钟描述：垃圾数据保存的时间fs.trash.checkpoint.interval默认值为：0单位：分钟描述：多久进行一次垃圾清理和创建检查点的检测，默认值为0，此时如果设置了 fs.trash.interval，则该值就会和 fs.trash.interval 的值保持一致，另外该值只能小于等于 fs.trash.interval 的值。二、原理介绍：
2020-11-09 14:07:50
551
原创 springboot 配置
mvcspring.mvc.async.request-timeout设定async请求的超时时间，以毫秒为单位，如果没有设置的话，以具体实现的超时时间为准，比如tomcat的servlet3的话是10秒.spring.mvc.date-format设定日期的格式，比如dd/MM/yyyy.spring.mvc.favicon.enabled是否支持favicon.ico，默认为: truespring.mvc.ignore-default-model-on-redirect在
2020-08-15 17:09:26
768
原创 Kerberos 常见错误
本节按字母顺序 (A-M) 列出了 Kerberos 命令、Kerberos 守护进程、PAM 框架、GSS 接口、NFS 服务和 Kerberos 库的常见错误消息。备注：下面这些错误有部分是通用的错误，所以解决方法并不一定适用所有场景，具体的解决方案是需要具体分析。不能一概而论。All authentication systems disabled; connection refused原因:此版本的 rlogind 不支持任何验证机制。解决方法:请确保调用的 rlogin.
2020-08-15 14:49:59
2505
原创 sprint datasource 配置属性
datasource spring.dao.exceptiontranslation.enabled 是否开启PersistenceExceptionTranslationPostProcessor，默认为true spring.datasource.abandon-when-percentage-full 设定超时被废弃的连接占到多少比例时要被关闭或上报 spring.datasource.allow-pool-suspension 使用Hikari pool时，是否允许连
2020-08-06 10:58:26
191
原创 Linux tar打包和split分割
打包分割：tar zcvf - tj-krb-ide.image | split -b 3000m - tj-krb-ide.tar.gz 合并：cat tj-krb-ide.tar.gza* > tj-krb-ide.tar.gz解压：tar zxvf tj-krb-ide.tar.gz
2020-08-05 19:57:23
408
原创 非递减，桶排序
做非递减的最小移动个数输入：heights =[1,1,4,2,1,3]输出：3解释：当前数组：[1,1,4,2,1,3]目标数组：[1,1,1,2,3,4]在下标 2 处（从 0 开始计数）出现 4 vs 1 ，所以我们必须移动。在下标 4 处（从 0 开始计数）出现 1 vs 3 ，所以我们必须移动。在下标 5 处（从 0 开始计数）出现 3 vs 4 ，所以我们必须移动。示例 2：输入：heights = [5,1,2,3,4]输出：5示例 3：输入：heights..
2020-07-27 11:07:11
136
原创 Markdown 语法
Markdown是一种纯文本格式的标记语言。通过简单的标记语法，它可以使普通文本内容具有一定的格式。相比WYSIWYG编辑器优点：1、因为是纯文本，所以只要支持Markdown的地方都能获得一样的编辑效果，可以让作者摆脱排版的困扰，专心写作。2、操作简单。比如:WYSIWYG编辑时标记个标题，先选中内容，再点击导航栏的标题按钮，选择几级标题。要三个步骤。而Markdown只需要在标题内容前加#即可缺点：1、需要记一些语法（当然，是很简单。五分钟学会）。2、有些平台不支持Markdown编
2020-06-30 16:49:14
91
原创 并发编程 synchronized 的探究
多线程并发编程中synchronized 一直是元老级别的角色。在java se1.6 以后为了减少获得锁和释放锁带来的性能消耗引入了偏向锁和轻量级锁，以及锁的存储结构和升级过程。 1、 java 中每一个对象都有可以作为锁，具体表现为： 1）对于普通同步方法，锁是当前的实例对象。 2）对于静态同步方法，锁是当前类的Class对象 3）对于同步方法块，锁是synchronized 括号里配置的对象。 2、同步机...
2020-06-28 17:53:21
109
原创 并发编程中 volatile 的探究
在多线程并发编程中，synchronized 和 volatile 都扮演着重要的角色，这边文章主要探究 volatile 的相关应用。 volatile 是 轻量级的synchronized 它在处理器开发中保证了共享变量的 “可见性“-- 当一个线程修改一个共享变量时，另外一个线程能读取到这个修改的值。如果volatile 使用的恰当的话，它比synchronized 的使用和执行成本更低。因为它不会引起上下文的切换和调度。 一、volatile 的定义 ...
2020-06-25 16:55:41
141
原创 并发编程的CPU术语定义
术语 英文单词 术语描述 内存屏障 memory barriers 是一组处理器指令，用于实现对内存操作的顺序限制 缓冲行 cache line CPU 高速缓存中可以分配的最小存储单元。处理器填写缓存行时会加载整个缓存行，现代CPU需要执行几百次CPU执行 原子操作 atomic operations 不可中断的一个或者一系列操作 缓存行填充 cache line fill 当处理器识别到从内存中读取操作数是可缓存的，处理器读取整
2020-06-25 14:47:16
170
原创 tmux 命令介绍
Tmux 是一个终端复用器（terminal multiplexer），非常有用，属于常用的开发工具。1.1 会话与进程命令行的典型使用方式是，打开一个终端窗口（terminal window，以下简称"窗口"），在里面输入命令。用户与计算机的这种临时的交互，称为一次"会话"（session）。会话的一个重要特点是，窗口与其中启动的进程是连在一起的。打开窗口，会话开始；关闭窗口，会话结束，会话内部的进程也会随之终止，不管有没有运行完。一个典型的例子就是，SSH 登录远程计算机，打开一个远程.
2020-06-23 20:31:18
1676
原创 基于 hadoop RPC 协议开发的服务和客户端添加 kerberos 认证
服务端：这次开发的服务有两个前提设置：1）是基于NN启动而启动的。2）使用了 kerberos 认证。3）使用自己设置的端口和进程单独服务。所以，在服务启动时可以使用NN的kerberos 认证信息进行认证。在启动服务前，通过HADOOP 的配置文件获取到 principal 和 keyTabPath 并将principal 的值赋于CommonConfigurationKeys.HADOOP_SECURITY_SERVICE_USER_NAME_KEY 这个配置参数。然后获..
2020-06-23 12:06:55
433
原创 Idea运行时报错Error running Application Command line is too long的解决方法
在IDEA 运行有时会报：Error running ‘Application’: Command line is too long. Shorten command line for Application or aalso for Spring Boot default configuration解决方法：1）找到项目里面的idea/workspace.xml文件。2）再找到<component name="PropertiesComponent"></compon
2020-06-23 11:27:03
16197
2
原创 hadoop 序列化
HADOOP 的 I/O 是由传统的 I/O 系统发展而来，需要处理 PB、TB级别的数据，所以包含类一些面向海量数据处理的基本输入输出工具。1）序列化： 对象的序列化用于将对象编码为一个字节流，以及从字节流中重新构建对象。 将一个对象编码成一个自己流称为序列化该对象（Serializing） 相反的处理过程称为反序列化（Deserializing）序列化有三种主要的用途： 1）作为一种持久化格式，存储到磁盘。 2）作为一种通信数据格式，从一个服务器传到另一个...
2020-06-09 18:13:59
303
原创 org.apache.hadoop.conf.Configuration 成员变量
非静态成员变量：1）private boolean quietmode = true;设置加载的配置模式，默认为 true,加载解析配置文件的过程中不会打印日志。开发人员的调试变量。2）private ArrayList<Resource> resources = new ArrayList<Resource>();保存了addResource() 方法添加 Configuration 对象的资源。有以下几种形式：#CLASSPATH 资源public voi
2020-06-09 17:28:40
981
原创 vim 命令
命令历史以:和/开头的命令都有历史纪录，可以首先键入:或/然后按上下箭头来选择某个历史命令。启动vim在命令行窗口中输入以下命令即可vim 直接启动vimvim filename 打开vim并创建名为filename的文件文件命令打开单个文件vim file同时打开多个文件vim file1 file2 file3 ...在vim窗口中打开一个新文件:open file在新窗口中打开文件:split file切换到下一个文件:bn切换到上一
2020-06-09 15:34:33
150
原创 Hbase 数据迁移
可以使用 hadoop distcp 命令迁移，目标集群不需要建立表结构 将数据迁移到对应的表目录下 hadoop distcp hdfs://master1:8020/hbase/data/default/tableNamehdfs://master2:8020/hbase/data/default/tableName 在目标集群执行HBase命令“hbase hbck -repairHoles”来修复HBase表的元数据，...
2020-06-09 15:15:43
245
原创 hive 表数据迁移
以下脚本是对hive相关版本没有改变的#!/bin/bash#set -xDB=$1#获取hive表定义ret=$(hive -e "use ${DB};show tables;"|grep -v _es|grep -v _hb|grep -v importinfo)ret=$(hive -e "use ${DB};show tables;"|grep -v _es|grep -v _hb|grep -v importinfo)for tem in $ret;do hive -
2020-06-09 15:10:21
610
原创 mvn 工程打包镜像
在POM 文件中配置： <build> <resources> <resource> <directory>src/main/resources</directory> <filtering>true</filtering> </resource> </resources> <plugins> ..
2020-06-09 15:04:57
567
原创 java.util.BitSet.or(BitSet set)
java.util.BitSet.or(BitSet set)源代码： public void or(BitSet set) { if (this == set) return; int wordsInCommon = Math.min(wordsInUse, set.wordsInUse); if (wordsInUse < set.wordsInUse) { ensureCapac.
2020-06-09 14:53:43
165
原创 BitMap实现原理
BitMap实现原理在java中，一个int类型占32个字节，我们用一个int数组来表示时未new int[32],总计占用内存32*32bit,现假如我们用int字节码的每一位表示一个数字的话，那么32个数字只需要一个int类型所占内存空间大小就够了，这样在大数据量的情况下会节省很多内存。具体思路：1个int占4字节即4*8=32位，那么我们只需要申请一个int数组长度为 int tmp[1+N/32]即可存储完这些数据，其中N代表要进行查找的总数，tmp中的每个元素在内存在占32位可以对应表
2020-06-09 11:00:45
490
1
原创 位运算基础概念
基础类型 byte -> 8 bits -->1字节char -> 16 bit -->2字节short -> 16 bits -->2字节int -> 32 bits -->4字节float -> 32 bits -->4字节long -> 64 bits -->8字节位运算符在java中，int数据底层以补码形式存储。int型变量使用32bit存储数据，其中最高位是符号位，0表示正数，1表示负数...
2020-06-09 10:32:13
353
原创 linux df -h 卡死
df -h 卡死，ctrl+C都没用。原因一：如果有网络盘挂载，如nfs、samba这类挂载，很有可能对端服务失效，目录卡死的原因，原因二：本地目录卡死的功能。首先用strace命令跟踪，查看df命令执行到哪一步开始卡死。[root@jzbx_web1 ~]# strace df中间省略输出内容stat("/sys/kernel/config", {st_mode=S_IFDI...
2020-04-02 12:57:45
3096
原创 zkCli.sh的使用
ZooKeeper服务器简历客户端./zkCli.sh -timeout 0 -r -server ip:port./zkCli.sh -timeout 5000 -server 192.9.200.242:2181-r：即使ZooKeeper服务器集群一般以上的服务器当掉，也给客户端体统读服务h 显示所有命令ls path:查看某个节点下的所有子节点信息...
2019-08-26 11:04:40
309
原创 linux 查询线程数和进程数
1、总结系统限制有：cat /proc/sys/kernel/pid_max #（操作系统线程ID的最大值）系统支持的最大线程数（sysctl kernel.pid_max） cat /proc/sys/kernel/thread-max #表示内核所能使用的线程的最大数目 cat max_user_process（ulimit -u） #系统限制某用户下最多可以运...
2019-08-22 17:12:08
599
原创 Federation操作文档
原主节点信息node1$ jps42207 DFSZKFailoverController3069 QuorumPeerMain42108 JournalNode46157 Jps48337 NameNodenode2$ jps44149 QuorumPeerMain17845 ApplicationHistoryServer14798 Jps6844 Bootstrap...
2019-08-22 15:49:02
125
原创 ulimit 命令
ulimit [-aHS][-c <core文件上限>][-d <数据节区大小>][-f <文件大小>][-m <内存大小>][-n <文件数目>][-p <缓冲区大小>][-s <堆叠大小>][-t <CPU时间>][-u <程序数目>][-v <虚拟内存大小>]参数：...
2019-08-22 15:15:34
507
原创 crontab 用法
简介Linux crontab和Windows task schedules非常的相似。Crontab可以用来在系统中定期的执行任务。比如：写了一个爬虫需要每天早上八点执行，就可以用到Crontab;安装的Tomcat服务器需要每天凌晨重启一次，也可以使用到Crontab。总之，几乎所有的定时任务，我们都可以通过Crontab这个工具来完成。安装yum install cronie...
2019-08-22 14:33:02
214
原创 linux 时间 date
获取当天日期$ date -d now +%Y-%m-%d $ date +%F获取明天日期$ date -d next-day +%Y-%m-%d$ date -d tomorrow +%Y-%m-%d获取昨天日期$ date -d yesterday +%Y-%m-%d 或者$ date -d last-day +%Y-%m-%d 或者$ date -d "1 ...
2019-08-22 14:08:34
92
原创 ceph 搭建
本文将全面详细介绍如何使用三台服务器搭建ceph集群1、更改hosts和 hostname，三台服务器之间做免密hostnamectl --static set-hostname yz-25-60-36vim /etc/hosts172.25.60.36 yz-25-60-36172.25.60.37 yz-25-60-37172.25.60.38 yz-25-60-382、...
2019-08-22 11:02:27
325
原创 glusterFS 安装
使用 yum 安装#安装服务yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma#启动服务systemctl start glusterd.servicesystemctl enable glusterd.servicesystemctl status glusterd.service#添...
2019-08-22 10:09:18
269
原创 linux 免密
1) 先在master上，生成公钥、私钥对 以hadoop身份登录到系统 cd (进入个人主目录，默认为/home/hadoop) ssh-keygen -t rsa -P '' 即：以rsa算法，生成公钥、私钥对，-P ''表示空密码。该命令运行完后，会在个人主目录下生成.ssh目录，里面会有二个文件id_rsa（私钥） ,id_r...
2019-08-22 09:54:04
93
原创 scala 对 字符串 Wordcount
val a = "a,s,s,d,f,g,y,d,a,y,a,s,a,d,f,d,f"val b = a.split(",").map(a => (a,1)).groupBy(_._1).mapValues(_.map(_._2).reduce(_+_))val b = a.split(",").map(a => (a,1)).groupBy(_._1).mapValues
2017-09-13 16:34:34
204
apache-maven
2017-03-08
jcseg-solr-1.9.5
2017-03-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人