zhengzaifeidelushang的博客

crontab定时运行bash脚本，重启zeppelin一、编写bash脚本二、Crontab用法三、crontab定时执行重启zeppelin的脚本四、查看执行效果一、编写bash脚本bash脚本默认添加：#!/bin/bash切换用户执行一条命令可以使用：su - zeppelin -c “命令”切换用户执行一个shell文件可以使用：su - zeppelin -s /bin/bash shell.shvim restart.sh#!/bin/bashecho "r

jstack输出java进程信息一、使用jps查看进程jps43269 ZeppelinServer二、使用jstack输出java进程信息jstack -l 43269#jstack -l 43269 > /moudle/jstackinfo.txt三、分析java进程信息https://fastthread.io/复制粘贴java进程信息...

Zeppelin上通过Spark读写mysql数据库一、从mysql数据库获取数据%sparkval df = spark.read.format("jdbc") .option("url","jdbc:mysql://192.168.216.130:3306/dw") .option("dbtable","stu_info") .option("password","xxxx") .load() .select("id","name","sex") .withColumn("id",co

Zeppelin设置返回的最大结果行数方法：interpreter页面设置最大行树：zeppelin.spark.maxResult：10000查询数据超过10万行就会出现下面的提示：

Zeppelin查询提示：ZEPPELIN_INTERPRETER_OUTPUT_LIMITzeppelin输出数据量可以通过以下两个方式调整：方法一：zeppelin-env.shZEPPELIN_INTERPRETER_OUTPUT_LIMITexport ZEPPELIN_INTERPRETER_OUTPUT_LIMIT=2500000方法二：zeppelin-site.xmlzeppelin.interpreter.output.limit<property>

Zeppelin启动Spark报错：-Uncaught exception: java.lang.ClassNotFoundException:org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer报错原因：缺少zeppelin自身jar包解决方法：添加缺少的jar包到启动环境中在解决过程中报错缺少啥就添加啥，一步步解决遇到的问题下面是添加了zeppelin自身的jar包和spark的jar包export SPAR

Zeppelin导入额外jar包方法方法一：为特定用户导入特定jar包方法二：永久导入jar包方法三：临时导入jar包方法一：为特定用户导入特定jar包方法参考这篇博客：zeppelin为特定用户添加额外jar包方法二：永久导入jar包在zeppelin启动的环境变量中永远导入jar包export SPARK_SUBMIT_OPTIONS="--jars /moudle/zeppelin-0.9.0/plugins/mysql-connector-java-8.0.21.jar"方法三：

zeppelin设置spark的启动参数vim zeppelin-env.shexport SPARK_SUBMIT_OPTIONS="--driver-memory 4G --executor-memory 4G --driver-cores 2 --executor-cores 2 --num-executors 10 --conf spark.sql.shuffle.partitions=1000 --conf spark.default.parallelism=300".

Zeppelin起Spark任务报错：RECEIVED SIGNAL TERM解决方法如下所示：调大spark任务资源export SPARK_SUBMIT_OPTIONS="--driver-memory 4G --executor-memory 4G --driver-cores 2 --executor-cores 2--num-executors 20 --conf spark.sql.shuffle.partitions=1000 --conf spark.default.

Zeppelin打开定时调度如下图所示：zeppelin可以开启定时调度，定时运行notebook修改conf/zeppelin-site.xml,添加开启定时调度配置<property> <name>zeppelin.notebook.cron.enable</name> <value>true</value> <description>Notebook enable cron schedul

zeppelin运行spark程序读写s3报错解决方法：java.lang.NoSuchMethodError在解决spark程序读写s3问题的过程中遇到的报错汇总如下：错误一：Could not initialize class org.apache.hadoop.fs.s3a.S3AFileSystem错误二：java.lang.NoSuchMethodError: com.amazonaws.services.s3.transfer.TransferManager.(Lcom/amaz

ansible一条命令完成Zeppelin部署一、deploy.yml二、roles之remove_zeppelin三、roles之zeppelin四、inventories之zeppelin_test的all.yml五、inventories之zeppelin_test的hosts六、conf_zeppelin_test存放zeppelin配置文件七、ssh.cfg设置代理八、ansible.cfg配置密钥、仓库名称九、package存放编译好的zeppelin安装包十.一条命令完成zeppelin部署

Zeppelin提交Spark程序到YARN上报Kerberos认证错误：Client.java[run]:755) - Exception encountered while connecting to the server : org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]解决方法：Spark的interpreter添加Kerberos的keyta

Zeppelin集成mysql解释器，实现zeppelin访问mysql数据库一、创建notebook解释器选择JDBC二、设置mysql解释器设置mysql数据库信息设置连接mysql所需要的Jar包存储位置三、把mysql连接器放到zeppelin的lib目录下对应mysql版本只需要放一个mysql-connector到lib目录下scp mysql-connector-java-5.1.49.jar bigdata1:/moudle/zeppelin/lib/scp mysq

zeppelin为特定用户添加额外jar包zeppelin可以为特定的用户添加jar包，jar包添加到zeppelin安装目录下的plugins目录下user_jar=''if [[ ! -z $ZEPPELIN_IMPERSONATE_USER ]]; then proxy_user=$ZEPPELIN_IMPERSONATE_USER if [ $proxy_user == "mingren" ]; then user_jar=",/moudle/zeppelin/pl

zeppelin使用可视化模块Helium增加图标一、zeppelin-site.xml增加配置<property> <name>zeppelin.helium.registry</name> <value>helium,,https://s3.amazonaws.com/helium-package/helium.json</value></property><property> <name&

Zeppelin0.8版本notebook升级到zeppelin0.9版本notebook./upgrade-note.sh -dINFO [2021-06-03 04:34:19,357] ({main} NotebookRepoSync.java[convertNoteFiles]:133) - Remote old note: 2G4F749W9INFO [2021-06-03 04:34:19,358] ({main} NotebookRepoSync.java[convertNoteFil

zeppelin.notebook.storage设置notebook存放在hdfs上面一、设置zeppelin的环境zeppelin-env.sh二、修改zeppelin-site.xml，并设置notebook存放在hdfs上面三、HDFS创建notebook存放目录四、创建mysql的notebook五、HDFS上查看存放的notebook一、设置zeppelin的环境zeppelin-env.shvim /moudle/zeppelin/conf/zeppelin-env.shexport J

Zeppelin集成Spark3安装Zeppelin可以参考下面这篇博客：安装zeppelin-0.9.0zeppelin.notebook.storage设置notebook存放在hdfs上面Spark3分布式集群安装部署（YARN模式）Hadoop3高可用(HA)分布式集群搭建版本：Zeppelin0.9Hadoop-3.3.0Spark-3.0.2一、修改zeppelin-env.shexport JAVA_HOME=/moudle/jdk1.8export ZEPPE

Zeppelin集成Hive一、添加Hive解释器二、拷贝hive环境变量到zeppelin的conf目录下三、拷贝Hadoop和Hive相关jar包到zeppelin安装目录interpreter/jdbc目录下四、启动Hadoop和hive五、Zeppelin测试hive解释器安装Zeppelin可以参考下面这篇博客：安装zeppelin-0.9.0zeppelin.notebook.storage设置notebook存放在hdfs上面Hive-3.1.2安装部署Hadoop3高可用(HA)

安装zeppelin-0.9.0并设置mysql解释器实现zeppelin访问mysql数据库一、下载zeppelin-0.9.0下载地址：https://zeppelin.apache.org/download.html二、解压安装tar -zxvf zeppelin-0.9.0-bin-all.tgz -C /moudle/三、重命名mv zeppelin-0.9.0-bin-all zeppelin四、配置zeppelin环境变量重命名zeppelin配置文件cd /moud

下载presto jdbc driver：https://prestodb.io/download.html把presto jdbc driver放到zeppelin安装目录interpreter/jdbc目录下[root@bigdata1 jdbc]# pwd/moudle/zeppelin/interpreter/jdbc[root@bigdata1 jdbc]# ls -l | grep presto-jdbc*-rw-r--r-- 1 root root 9553494 5月

一、下载zeppelin0.9源码zeppelin0.9源码下载地址：https://github.com/apache/zeppelingit clone https://github.com/apache/zeppelin.git二、编译zeppelin0.9源码mvn clean package -DskipTests -Pspark-3.0 -Pspark-scala-2.12 -Phadoop3 -Phive2 -Pjdbc-hadoop3 -Pflink-112 -Pweb-angu

zeppelin生产环境zeppelin-env.sh和zeppelin-site.xml的详细配置这篇博客详细记录了生产环境zeppelin所有关键的配置。一、zeppelin-env.sh使用了kerberos认证打开了zeppelin的JMX指标监控export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64export ZEPPELIN_ADDR=0.0.0.0export HADOOP_HOME=/moudle/service/hadoopexpo

zeppelin监控：Prometheus Monitoring和JMX Monitoring一、Prometheus Monitoring二、浏览器查看Prometheus Monitoring输出的zeppelin监控指标三、JMX Monitoring四、安装JMX导出器官方文档地址：https://zeppelin.apache.org/docs/0.9.0/setup/operation/monitoring.htmlzeppelin监控有两种实现方式：方式一：Prometheus Mo