- 博客(13)
- 收藏
- 关注
RSS订阅原创 hive源数据表的时间与mysql的时间不一致
Connector/J 是 8.0.21，这个版本有一个值得注意的特性：8.0.22 及以前版本在日期时间处理中会执行时区偏移调整；如果服务器使用无法明确识别的时区缩写，需要通过 serverTimezone 指定时区。MySQL Connector/J 8.0.21 在识别 MySQL 服务端时区时，可能会遇到 CST 的歧义。create_date_time 在MySQL 原始时间 2015-08-12 16:19:36。Hive 同步后时间 2015-08-13 05:19:36.0。
2026-10-31 19:48:30
159
原创 Hive on Spark配置
说明2：Hive任务最终由Spark来执行，Spark任务资源分配由Yarn来调度，该任务有可能被分配到集群的任何一个节点。所以需要将Spark的依赖上传到HDFS集群路径，这样集群中任何一个节点都能获取到。编译步骤：官网下载Hive3.1.3源码，修改pom文件中引用的Spark版本为3.3.1，如果编译通过，直接打包获取jar包。如果报错，就根据提示，修改相关方法，直到不报错，打包获取jar包。说明1：采用Spark纯净版jar包，不包含hadoop和hive相关依赖，能避免依赖冲突。
2026-07-23 23:14:40
212
原创 无法启动Spark历史服务器
问题：使用.sbin/start-history-server.sh无法看到服务，查看日志，报错。解决方法：查看spark-defaults.conf，只配置了。
2026-07-23 03:38:06
238
原创 sqoop安装流程
1、从https://archive.apache.org/dist/sqoop/1.4.6/下载sqoop-1.4.6.bin__hadoop-0.23.tar.gz，上传到服务器并解压缩，改名为sqoop-1.4.6。2、将sqoop中的sqoop-env-template.sh文件改名为sqoop-env.sh,并在文件末尾添加。3、vi /etc/profile.d/my_env.sh, 在环境变量中添加。并source /etc/profile.d/my_env.sh。
2026-07-14 01:52:42
184
原创 执行sqoop命令同步数据从mysql到hive表报错Unable to instantiate org.apache.hive.hcatalog.common.HiveClientCache$Cac
解决方案：在sqoop的sqoop-env.sh添加hive的hcatalog目录。
2026-07-14 00:25:00
43
原创 Apache Flink集成HDFS报错Failed to create checkpoint storage at checkpoint coordinator side.
在网上查询相关资料后，在flink的lib目录添加flink-shaded-hadoop-3-3.1.1.7.0.3.0-79-7.0.jar、commons-cli-1.5.0.jar两个包，但报错依旧存在，添加了export HADOOP_CLASSPATH=后面发现是hadoop与flink的兼容性问题，hadoop原先使用的是3.3.4，与多个版本的flink集成都会出现报错，最后将Hadoop的版本改成3.1.3,使用flink run运行jar包就没有这个错误了，在hdfs上成功保存了检查点。
2024-11-28 22:56:20
620
原创 dolphinscheduler安装失败，部分目录被删除
将scrip目录的scp-hosts.sh文件的ssh -p $sshPort $host "cd $installPath/;rm -rf bin/ conf/ lib/ script/ sql/ ui/"这段代码注释掉，加上#使用dolphinscheduler安装过程中执行install.sh后，dolphinscheduler目录的部分文件夹被删除，并出现。sed：无法读取 conf/worker.properties：没有那个文件或目录。重新解压执行install.sh便能成功安装成功。
2024-11-05 11:31:06
461
原创 spark将程序提交到yarn集群报错datasources.jdbc.DriverWrapper.＜init＞()的解决方法
问题：我在虚拟机使用spark-submit将程序部署到yarn集群时，每次使用数据输出rdd时出现了以下错误：java.lang.NoSuchMethodException: org.apache.spark.sql.execution.datasources.jdbc.DriverWrapper.()2.如果问题还是存在，请检查自己数据输出代码，在write后面添加option(“driver”, “com.mysql.jdbc.Driver”)，添加配置mysql驱动。
2023-07-16 16:42:16
377
1
原创 pycharm连接MySQL数据源时导入驱动无法识别（No driver files provided）
问题：如下所示，pycharm导入MySQL驱动时无法识别成功，呈现红色的字体。
2022-12-10 00:13:26
1859
原创 pychram连接MySQL数据源时无法展示Host的解决方案
问题：pychram连接MySQL数据源时没有Host输入栏，无法输入Host信息
2022-12-08 22:36:08
414
原创 python报‘AttributeError: type object ‘datetime.datetime‘ has no attribute ‘datetime‘‘错误的原因及解决方案
在运行以下代码时出现报错AttributeError: type object ‘datetime.datetime’ has no attribute ‘datetime’原因:在导入模块使用from datetime import datetime，由于包名和类名一样，导致系统识别出现混乱，无法知道哪个是具体包和类解决方案：直接使用import datetime进行导包即可
2022-12-06 18:00:37
13053
原创 关于hdfs突然无法上传下载文件的解决方法（Couldn‘t upload the file）
关于hdfs上传文件报Couldn't upload the file的解决方案
2022-10-11 23:17:59
9303
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人