Hadoop 配置 Kerberos 认证 kinit: Invalid Uid in persistent keyring name while getting default ccacheCannot contact any KDC for realm KrbException: Message stream modified (41)kinit: relocation error: kinit: symbol krb5_get_init_creds_opt_set_pac_request,提交 spark on yarn
Vmware 静态网络配置 仅主机模式(VMware1):使用host-only的方式是不能和外界通信的,只能够和本机的物理网卡通信桥接(VMnet0):使用桥接的方式使得自己的虚拟机和自己的真实机网卡在同一个网段NAT(VMnet8):网络地址转换,通过nat的连接方式可以使得虚拟机和真实机的网卡在不同的网段中。
查看进程环境变量 变量以name=value的形式描述。多个变量之间由 null(‘\0’)分隔,为了便于阅读,使用tr(translate)命令将’\0’替换为’’。而 PID 可用通过 ps / jps(java 进程) 等命令查看。每一个进程的环境变量存储在。1)选择要查看的进程。2)双击进程弹出窗口。
Windows Spark 开发测试版本快速搭建 (可选)添加环境变量 SPARK_HOME。并将 %SPARK_HOME%/bin、%SPARK_HOME%/sbin 添加到 path 中。为当前命令行添加 SPARK_HOME,如果添加了全局的 SPARK_HOME 则这里可以省略(可选)ps:本文使用的是 spark-3.3.0-bin-hadoop3.tgz。ps: 一台机器可以起多个 worker,指定不同的端口就行。
windows hadoop 开发测试版快速搭建 修改 %HADOOP_HOME%/etc/hadoop 下面的配置文件:core-site.xml、 hdfs-site.xml、 mapred-site.xml、 yarn-site.xml。(可选)修改 %HADOOP_HOME%/etc/hadoop 下面的脚本 hadoop-env.cmd,修改 JAVA_HOME 为本机jdk安装时配置的目录。并将 %HADOOP_HOME%/bin、%HADOOP_HOME%/sbin 添加到 path 中。填指定 ip 时,则 只会监听该 ip。
Linux 持续监控进程资源使用情况相关命令 1、 使用 jmap 监控 java 对象数量增长2、 使用 watch 持续监控进程资源使用情况并输出到文件。3、 使用 watch 持续监控进程资源使用情况,过滤内容并输出到文件。4、查看进程启动时间以及运行时间。
maven sonar 扫描单元测试覆盖率为0,但是单元测试数不为0 maven-surefire-plugin 的 argLine 参数导致 Jacooco 未执行。导致 sonar 扫描后的单元测试覆盖率为0。但是但与测试数量不为0。
关于slf4j、log4j、log4j2 以及使用log4j-1.2-api将log4j适配到log4j2上的案例 关于 关于slf4j、log4j、log4j2 等的概念,以及介绍将三方库中的 log4j1 输出的日志转接到log4j2上的方式。
使用 JABX 将 Map<String,String> 序列化成 <key>value</key>形式的字符串 JAXB(Java Architecture for XML Binding) 用于 XML 绑定的 Java 体系结构(JAXB)是允许 Java 开发人员将 Java 类映射到 XML 表示形式的软件框架。JAXB 支持将 Java 对象编组为 XML,然后将 XML 解组为 Java 对象。