- 博客(50)
- 资源 (42)
- 收藏
- 关注
RSS订阅原创 Mac安装Xcode
Mac安装Xcode一、下载Xcode二、安装Xcode三、查看安装的版本四、报错error: tool ‘xcodebuild’ requires Xcode解决方法五、安装command line tools一、下载XcodeXcode下载地址：https://developer.apple.com/download/more/下载需求的版本：二、安装Xcode点击安装包，安装即可三、查看安装的版本xcodebuild -versionXcode 12.4Build vers
2021-05-25 14:26:12
2758
1
原创 xcode-select: error: tool ‘xcodebuild‘ requires Xcode, but active developer directory ‘/Library/Deve
Xcode安装后执行xcodebuild -version报下面这个错误：xcode-select: error: tool ‘xcodebuild’ requires Xcode, but active developer directory ‘/Library/Developer/CommandLineTools’ is a command line tools instancesudo xcode-select --switch /Users/fei.yang4/software/Xcode.
2021-05-25 14:13:14
4638
1
原创 org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]
Zeppelin提交Spark程序到YARN上报Kerberos认证错误：Client.java[run]:755) - Exception encountered while connecting to the server : org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]解决方法：Spark的interpreter添加Kerberos的keyta
2021-05-21 16:41:28
4026
原创 安装presto分布式集群
tar -zxvf presto-server-0.253.tar.gz -C /moudle/ cp presto-cli-0.253-executable.jar /moudle/presto-server-0.253/bin mv presto-cli-0.253-executable.jar prestochmod +x presto-cli-0.253-executable.jarmkdir /moudle/presto-datamkdir /moudle/presto-serv
2021-05-20 14:13:00
149
原创 zeppelin集成presto
下载presto jdbc driver：https://prestodb.io/download.html把presto jdbc driver放到zeppelin安装目录interpreter/jdbc目录下[root@bigdata1 jdbc]# pwd/moudle/zeppelin/interpreter/jdbc[root@bigdata1 jdbc]# ls -l | grep presto-jdbc*-rw-r--r-- 1 root root 9553494 5月
2021-05-20 14:12:06
567
原创 presto启动报错：No factory for connector hive
prsto启动报错：No factory for connector hive2021-05-20T13:17:32.066+0800 ERROR main com.facebook.presto.server.PrestoServer No factory for connector hivejava.lang.IllegalArgumentException: No factory for connector hiveat com.google.common.base.Precon
2021-05-20 13:36:30
1185
原创 presto查询报错：failed: Catalog mysql does not exist
presto查询报错：failed: Catalog mysql does not exist已经在presto安装目录下的etc目录里面创建了如下的mysql.propertiesvim mysql.propertiesconnector.name=mysqlconnection-url=jdbc:mysql://192.168.216.130:3306connection-user=rootconnection-password=123456!a使用presto连接mysql数据库时出现
2021-05-20 12:01:22
1541
原创 Flink报错汇总
Flink报错汇总文章链接Flink:java.lang.IllegalStateException: No Executor found. make sure to export the HADOOP_CLASSPATHFlink:java.lang.IllegalStateException: No Executor found. make sure to export the HADOOP_CLASSPATH
2021-05-19 16:38:11
317
原创 Flink:java.lang.IllegalStateException: No Executor found. make sure to export the HADOOP_CLASSPATH
java.lang.IllegalStateException: No Executor found. Please make sure to export the HADOOP_CLASSPATH environment variable or have hadoop in your classpath. For more information refer to the “Deployment” section of the official Apache Flink documentation..
2021-05-19 16:32:07
2650
原创 Flink启动yarn-session报错：Error while running the Flink session. java.lang.NoSuchMethodError
2021-05-19 13:18:35,976 ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - Error while running the Flink session.java.lang.NoSuchMethodError: org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Buil
2021-05-19 16:22:48
1863
原创 基于Yarn模式安装Flink
tar -zxvf flink-1.13.0-bin-scala_2.12.tgz -C /moudlevim /moudle/hadoop-3.3.0/etc/hadoop/yarn-site.xml<property> <name>yarn.resourcemanager.am.max-attempts</name> <value>10</value> .
2021-05-19 16:14:00
302
原创 flink：akka.remote.ReliableDeliverySupervisor [] - Association with remote system has failed
akka.remote.ReliableDeliverySupervisor [] - Association with remote system [akka.tcp://flink@bigdata2:38800] has failed, address is now gated for [50] ms.flink以Flink per-job cluster模式提交单词统计任务报错：flink run -m yarn-cluster -yjm 1024 -y
2021-05-19 15:21:35
1975
原创 Zeppelin集成Hive
Zeppelin集成Hive一、添加Hive解释器二、拷贝hive环境变量到zeppelin的conf目录下三、拷贝Hadoop和Hive相关jar包到zeppelin安装目录interpreter/jdbc目录下四、启动Hadoop和hive五、Zeppelin测试hive解释器安装Zeppelin可以参考下面这篇博客：安装zeppelin-0.9.0zeppelin.notebook.storage设置notebook存放在hdfs上面Hive-3.1.2安装部署Hadoop3高可用(HA)
2021-05-19 07:52:44
264
原创 hive连接报错：Unauthorized connection for super-user: root from IP 192.168.216.128:14:13
hive连接报错：Unauthorized connection for super-user: root from IP 192.168.216.128:14:13解决方法：hadoop的core-site.xml中添加如下配置：vim /moudle/hadoop-3.3.0/etc/hadoop/core-site.xml<property> <name>hadoop.proxyuser.root.groups</name> <
2021-05-19 06:38:38
1846
原创 连接hive数据库报错：Required field ‘serverProtocolVersion‘ is unset!
连接hive数据库报错：Required field ‘serverProtocolVersion’ is unset!完整报错如下所示：Required field ‘serverProtocolVersion’ is unset!User: root is not allowed to impersonate anonymous解决方法：hadoop的core-site.xml中添加如下配置：vim /moudle/hadoop-3.3.0/etc/hadoop/core-site.xml
2021-05-19 06:34:53
2117
原创 Hive连接报错：Could not open client transport with JDBC Uri: jdbc:hive2://192.168.216.128:10000
Hive连接报错：Could not open client transport with JDBC Uri: jdbc:hive2://192.168.216.128:10000: java.net.ConnectException: Connection refused: connectjava.net.ConnectException: Connection refused: connectjava.net.ConnectException: Connection refused: connec
2021-05-19 06:08:52
4207
原创 Hive初始化报错：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver
Hive初始化报错：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver完整错误如下所示：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driverUnderlying cause: java.lang.ClassNotFoundException : com.mysql.jdbc.DriverUse --verbose
2021-05-18 22:02:52
13121
原创 Zeppelin集成Spark3
Zeppelin集成Spark3安装Zeppelin可以参考下面这篇博客：安装zeppelin-0.9.0zeppelin.notebook.storage设置notebook存放在hdfs上面Spark3分布式集群安装部署（YARN模式）Hadoop3高可用(HA)分布式集群搭建版本：Zeppelin0.9Hadoop-3.3.0Spark-3.0.2一、修改zeppelin-env.shexport JAVA_HOME=/moudle/jdk1.8export ZEPPE
2021-05-18 13:17:09
806
原创 Zeppelin集成mysql解释器，实现zeppelin访问mysql数据库
Zeppelin集成mysql解释器，实现zeppelin访问mysql数据库一、创建notebook解释器选择JDBC二、设置mysql解释器设置mysql数据库信息设置连接mysql所需要的Jar包存储位置三、把mysql连接器放到zeppelin的lib目录下对应mysql版本只需要放一个mysql-connector到lib目录下scp mysql-connector-java-5.1.49.jar bigdata1:/moudle/zeppelin/lib/scp mysq
2021-05-18 12:36:18
333
原创 spark-shell测试spark代码
spark-shell测试spark集群启动sparkspark-shell测试scala程序scala> val file = sc.textFile("hdfs:/hdfs/wordcount.txt");file: org.apache.spark.rdd.RDD[String] = hdfs:/hdfs/wordcount.txt MapPartitionsRDD[1] at textFile at <console>:24scala> val rdd =
2021-05-17 15:28:59
334
原创 基金知识汇总和实战经验分享
基金知识汇总和实战经验分享分享一份基金知识给大家，同时分享下个人观点：引用PMP项目风险管理的经验，无论是玩基金还是股票都要清晰明确的认识到自身的风险承受力，通俗一点就是你最多能接受你投入的本钱亏损多少。正确认识自身的风险偏好以及风险承受能力，在接受某种风险程度的基础上挑选合适的基金，即不仅要看收益，还要预估风险，这是投资者在投资前应该做的工作。达到心里预期收益见好就收，财富的积累是一个持续性点点滴滴的过程。文章内容链接指数基金指数基金基金：波动率、收益率、贝塔系数
2021-05-16 18:55:18
237
原创 PMP知识要点详细汇总
PMP知识要点详细汇总文章内容链接PMP第一章：引论介绍PMP第一章：引论介绍PMP第二章：项目运行环境PMP第二章：项目运行环境PMP第三章：项目经理的角色PMP第三章：项目经理的角色PMP：五大过程组与十大知识领域PMP：五大过程组与十大知识领域PMP第四章：项目整合管理PMP第四章：项目整合管理PMP第五章：项目范围管理PMP第五章：项目范围管理PMP第六章：项目进度管理PMP第六章：项目进度管理PMP第七章：项目成本管理
2021-05-16 18:32:30
973
原创 PMP第十二章：项目采购管理
PMP第十二章：项目采购管理一、项目采购管理的核心概念项目经理对采购过程有足够了解分散式采购：项目经理有采购职权（小型或初创组织）集中式采购：专设部门开展采购（成熟组织）通常情况下，项目经理无权签署对组织有约束力的法律协议协议可以是合同、服务水平协议（SLA）、谅解备忘录、协议备忘录或订购单合同应明确说明预期的可交付成果和结果，包括卖方到卖方的任何知识转移复杂项目中，可能需要管理多个合同，不同合同的生命周期可在项目生命周期的任何阶段开始与结束项目采购管理的发展趋势和新兴实践：工具的
2021-05-16 18:19:34
1708
原创 PMP第十三章：项目相关方管理
PMP第十三章：项目相关方管理一、项目相关方的核心概念相关方：会受项目的积极或消极影响，或者能对项目施加积极或消极的影响的任何人。强调结构化方法对识别所有相关方、进行相关方优先级排序，以及引导相关方参与的重要性。应该在项目章程被批准、项目经理被委任、以及团队开始组建之后，尽早开始识别相关方并引导相关方参与相关方满意度应作为项目目标加以识别和管理有效引导相关方参与的关键是：与所有相关方保持持续沟通，理解需求和期望、处理所发生的问题、管理利益冲突，并促进相关方参与项目决策和活动。项目相关方管理
2021-05-16 17:38:32
641
原创 kerberos常用命令汇总
kerberos常用命令汇总一、查看keytab文件对应的principal name命令：klist -ket keytab文件名klist -ket zeppelin1.bigdata.net.keytabKeytab name: FILE:zeppelin1.bigdata.net.keytabKVNO Timestamp Principal---- ------------------- -------------------------------------
2021-05-14 13:54:45
2483
原创 Hdfs文件权限及ACL访问控制
Hdfs文件权限及ACL访问控制一、getfacl查看hdfs目录权限二、setfacl设置权限三、设置用户权限四、设置组权限五、为目录设置默认ACL权限六、递归创建目录权限七、实例：赋予zeppelin用户读写目录权限八、补充：hdfs-site.xml打开权限检查九、补充：改变文件或目录所属的用户和用户组一、getfacl查看hdfs目录权限hdfs dfs -getfacl /test/zeppelinuser::rwxgroup::r-xother::---二、setfacl设置权限
2021-05-14 13:38:49
257
原创 zeppelin.notebook.storage设置notebook存放在hdfs上面
zeppelin.notebook.storage设置notebook存放在hdfs上面一、设置zeppelin的环境zeppelin-env.sh二、修改zeppelin-site.xml，并设置notebook存放在hdfs上面三、HDFS创建notebook存放目录四、创建mysql的notebook五、HDFS上查看存放的notebook一、设置zeppelin的环境zeppelin-env.shvim /moudle/zeppelin/conf/zeppelin-env.shexport J
2021-05-13 13:42:29
656
原创 Spark3分布式集群安装部署（YARN模式）
Spark3分布式集群安装部署（YARN模式）一、解压Spark3二、重命名三、配置Spark3环境变量四、修改spark-defaults.conf五、配置yarn-site.xml六、从节点配置七、设置系统环境变量八、重命名start-all.sh stop-all.sh九、发送bigdata1节点的Spark到bigdata2和bigdata3节点十、发送bigdata1节点/etc/profile到bigdata2和bigdata3节点十一、创建日志聚合功能所需要的HDFS文件夹十二、启动Hadoo
2021-05-13 08:52:05
871
2
原创 win10下以管理员身份修改hosts文件
win10下以管理员身份修改hosts文件一、以管理员身份运行PowerShellhosts文件在C:\Windows\System32\drivers\etc目录下二、notepad hosts打开记事本修改hosts文件如下所示：
2021-05-13 00:37:00
3487
原创 PMP第十一章：项目风险管理
PMP第十一章：项目风险管理目风险管理一、项目风险管理核心概念项目风险：不确定的事件或条件，一旦发生，就会对一个或多个项目目标造成积极或消极的影响。风险的三要素：风险事件、概率、影响。积极和消极风险通常被称为机会和威胁。两个层面的风险：单个项目风险：会对一个或多个项目目标产生正面或负面影响的不确定事件或条件。整体项目风险：不确定性对项目整体的影响，是相关方面临的项目结果正面和负面变异区间。整体项目风险大于项目中单个风险之和，整体风险源于包括单个风险在内的所有不确定性。三种性质的项目
2021-05-12 09:13:43
5975
原创 ProcessBuilder用法示例
ProcessBuilder用法示例ProcessBuilder()类用于创建操作系统进程，提供一种启动和管理进程的方法。每个 ProcessBuilder 实例管理一个进程属性集，start() 方法利用这些属性创建一个新的 Process 实例。start() 方法可以从同一实例重复调用，以利用相同的或相关的属性创建新的子进程。在调用 waitFor() 的时候， Process 需要向主线程汇报运行状况，所以要注意清空缓存区，即 InputStream 和 ErrorStream 。//利用指定的
2021-05-11 12:42:32
1964
原创 AES加密解密，KeyGenerator生成key，Cipher使用key对内容加密解密
AES加密解密，KeyGenerator生成key，Cipher使用key对内容加密解密package com.bigdata.watcher;import javax.crypto.*;import java.io.UnsupportedEncodingException;import java.nio.charset.Charset;import java.security.InvalidKeyException;import java.security.NoSuchAlgorithmEx
2021-05-11 12:19:22
1313
原创 BufferedReader和BufferedWriter
BufferedReader和BufferedWriter一、BufferedReaderBufferedReader类从字符输入流中读取文本并缓冲字符，以便有效地读取字符，数组和行File file = new File("/data/home/key");FileReader fr = new FileReader(file); BufferedReader reader = new BufferedReader(fr);String data = reader.readLine();b
2021-05-11 11:35:45
107
原创 PMP第十章：项目沟通管理
PMP第十章：项目沟通管理一、项目沟通管理的核心概念信息交换：书面形式口头形式正式或非正式形式手势动作媒体形式遣词造句沟通的划分纬度：内部：项目内外部：客户、供应商、其他项目、组织、公众垂直：上下级之间水平：同级之间官方：新闻通讯、年报非官方：私下沟通口头语言：占比45%非口头语言：占比55%沟通：通过沟通活动，或以共件的方式等各种可能的方式来发送或者接收信息。尽力预防理解错误和沟通错误，并从规划过程所规定的各种方法、发送方、接收方和信息中做出谨慎选择。
2021-05-11 09:56:32
500
原创 PMP第九章：项目资源管理
PMP第九章：项目资源管理一、激励理论马斯洛：需求层次理论，从最低等级到最高等级依次是：生理需求、安全需求、社会需求、尊重需求、自我实现需求。赫兹伯格的双因素理论：保健因素和激励因素会决定人的行为。 保健因素：导致不满足感的因素，这些因素做得不好不会提高激励，做的不好就会损害激励。比如：工作环境或条件、工资、同事或上下级之间关系、个人生活、安全、地位、职务等。相当于马斯洛需求层次理论的较低层次的需求（生理需求、安全需求、社交需求）。 激励因素：导致满足感的因素，能够真正起激励作用。
2021-05-10 09:13:41
866
原创 PMP第八章：项目质量管理
PMP第八章：项目质量管理一、项目质量管理的核心概念1.质量与等级的区别质量：作为实现的性能或成果，是一系列内在特性满足要求的程度。等级：作为设计意图，是对用途相同但技术特性不同的可交付成果的级别分类。项目经理及项目管理团队负责权衡，以便同时达到所要求的质量与等级水平。2.术语的区别预防：保证过程中不出现错误。检查：保证错误不落到客户手中。属性抽样：结果为合格或不合格。变量抽样：表明合格的程度。公差：结果的可接受范围。控制界限：稳定过程的普通偏差的边界。...
2021-05-09 16:05:25
1038
原创 Zookeeper入门之四：acl权限控制
Zookeeper入门之四：acl权限控制一、acl权限控制概述二、权限模式三、授权的对象四、授予的权限五、授权的相关命令六、world授权模式七、IP授权模式八、Auth授权模式九、Digest授权模式十、超级管理员一、acl权限控制概述Zookeeper的Client可以创建节点、删除节点，Zookeeper使用access control list访问控制列表实现节点的权限控制。acl权限控制，使用scheme????permission来标识，主要涵盖三个方面：授权模式（scheme）：授
2021-05-08 13:13:30
117
原创 Zookeeper入门之十二：watcherAPI监控子节点变化
Zookeeper入门之十二：watcherAPI监控子节点变化一、监控子节点API二、监控子节点变化三、自定义监控器监听子节点变化四、连续注册监听器对象监听子节点变化五、创建多个监听器对象监听子节点变化一、监控子节点API使用连接对象的监视器：getChildren(String path, boolean b)自定义监控器：getChildren(String path, Watcher w)path：znode路径b：是否使用连接对象中注册的监视器w：监视器对象可以监控的事件：N
2021-05-08 11:02:16
358
原创 Zookeeper入门之十一：watcherAPI监控节点数据的变化
Zookeeper入门之十一：watcherAPI监控节点数据的变化一、监控节点数据API二、监控节点数据变化三、自定义监视器监控节点数据四、连续注册监听器对象五、注册多个监听器对象一、监控节点数据API使用连接器对象的监视器：getData(String path, boolean b, Stat stat)自定义监视器：getData(String path, Watcher w, Stat stat)path：znode路径b：是否使用连接对象中注册的监视器w：监视器对象stat：返回
2021-05-08 10:50:14
188
原创 Zookeeper入门之十：watcherAPI监控节点是否存在
Zookeeper入门之十：watcherAPI监控节点是否存在一、注册watcher的方法二、监控节点是否存在API三、监控节点的创建、删除和节点数据变化一、注册watcher的方法客户端与服务器的连接状态KeeperState：通知状态SyncConnected：客户端与服务器正常连接时Disconnected：客户端与服务器断开连接时Expired：会话session失效时AuthFailed：身份认证失败时package com.bigdata.watcher;import
2021-05-08 09:56:46
135
Debezium Server offset编辑器
2023-10-19
labview数据采集系统
2022-10-09
ansible-flume-auto-deployment.tar.gz
2021-07-28
flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar
2020-11-16
Elasticsearch-head+grunt+node-v12.11.1.zip
2019-10-11
机械建模机械建模各章节课程作业、大作业以及Matlab实现代码
2019-02-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人