HADOOP
关注
分享
扫一扫
文章平均质量分 62
开发老张
这个作者很懒，什么都没留下…
展开
-
Phoenix 启动卡住
使用命令：启动 Phoenix 时，有时会卡在如下地方。原创 2023-03-28 16:18:11 · 1042 阅读 · 1 评论 -
Maxwell 搭建中的问题
maxwell 安装配置时的问题汇总，连接不上MySQL等问题原创 2023-03-09 18:25:41 · 930 阅读 · 0 评论 -
Azkaban 内存不足报错
当然如果是生产环境，最好是找到占用内存的应用看看是不是可以停掉或者转移到其他服务器，或者扩大物理内存，这样可以从根本解决问题；关闭内存检查，在所有 azkaban-exec-server 节点修改配置文件并重启服务；我的 azkaban-exec-server 节点在 s3、s4、s5 三台服务器上；查看端口 12321 是否启动。原创 2022-12-01 10:43:12 · 685 阅读 · 0 评论 -
Zepplin 安装配置
Zepplin 可以查询很多种数据源，包括 Kylin、file、spark、flink、hbase、es 等等。原创 2022-11-09 16:24:39 · 864 阅读 · 0 评论 -
Sqoop从MySQL导出时间的时区问题
当使用 Sqoop 向 MySQL 导入数据时（MySQL 的 datetime 导入到 Hive 的 string），会出现时间导入后在 Hive 表中的时间晚于 MySQL 中显示的时间 8 小时，造成数据分析错误；原创 2022-11-01 10:42:59 · 822 阅读 · 0 评论 -
sqoop 从HDFS导出数据到MySQL8
当数仓运算完成后，需要导出结果到 MySQL 中时，报数据解析错误；经过一通检查发现 sqoop 语句写的并没有什么错误，分隔符也没问题，也都正常分割了，但就是往 MySQL 导入时报格式匹配错误；原创 2022-10-27 13:12:33 · 1283 阅读 · 0 评论 -
hive 连接错误
在 hive 客户端执行命令报错报如下错误或者连接到 hiveserver2 时候连接不上；或者启动 hiveserver2 时候不能正常启动，10000 端口打不开；此时通过查询 hive.log 日志都会发现让执行 ”mysqladmin flush-hosts“ 解决；原创 2022-10-25 16:27:49 · 2844 阅读 · 0 评论 -
Hive 动态分区
Hive 可以将一个未分区的表中的数据导入到一个分区表时候，将其中的一列作为动态分区导入到分区表的分区列中。原创 2022-09-27 12:13:19 · 809 阅读 · 0 评论 -
Sqoop 导入数据时的部分任务错误
查了半天，也测试了提示说的那两个配置，并不是这个问题，最后发现创建 Hadoop 集群时有台机器的 hostname 设置的不对，改过来就好了，唉，搭建集群时的一个疏忽，导致后面查了半天这个问题，在这里记录下，也给有同样问题的朋友一个提示。原创 2022-09-27 10:12:12 · 1056 阅读 · 0 评论 -
Hive 分区表
在 Hive 中，表的每一个分区对应表下的相应目录，所有分区的数据都是存储在对应的目录中；可以按照一定维度数据进行分区存放，查询时大幅增加查询效率，同时也可以查询跨多个分区的整数集；原创 2022-09-20 11:07:34 · 227 阅读 · 0 评论 -
Hive External Table 外部表
HIVE External Table 外部表，内部表与外部表区别，外部表示例原创 2022-09-20 11:00:00 · 1280 阅读 · 0 评论 -
Hive 上配置 Hive on Spark
在 Hive 上配置 Hive on Spark。原创 2022-09-16 10:35:13 · 2192 阅读 · 0 评论 -
Hadoop 安装配置
Hadoop 安装配置，版本 3.1.3。原创 2022-09-15 11:44:38 · 525 阅读 · 0 评论 -
Hive 安装配置
记录个 hive 的安装配置流程。原创 2022-09-09 10:25:05 · 490 阅读 · 0 评论 -
Sqoop 安装部署
今天重新部署一台 sqoop，就手再记录一下官网：sqoop.apache.org说明：sqoop 有两个大版本，1 和 2，且两个是完全不同的，但 2 现在一直是 1.99.x 版本，并未到 2.x 版本，因此我们选用 1.4.6 版本（当前最新是 1.4.7，使用最新的前一个版本）；原创 2022-09-07 17:35:49 · 785 阅读 · 0 评论 -
FLUME 安装配置及使用示例
FLUME 安装配置，并给出 Source、Channel、Sink 的一些示例，详细介绍 Kafka Source、Kafka Channel、Kafka Sink 的使用原创 2022-09-02 15:01:14 · 1227 阅读 · 0 评论 -
EFAK V3.0.1（原Kafka Eagle）安装部署
Kafka 监控 EFAK（即原 Kafka Eagle）V3.0.1 安装配置Kafka Eagle 在 v2.0.7 版后更名为 EFAK。原创 2022-09-01 14:48:03 · 3073 阅读 · 0 评论 -
Kafka 集群安装及常用命令
搭建 Kafka 服务集群三台服务器（ns1，ns2，ns3），构成集群；原创 2022-09-01 10:17:44 · 1217 阅读 · 0 评论 -
Zookeeper 集群安装部署
在 3 台服务器上都安装 ZK，组成集群原创 2022-08-31 12:23:14 · 162 阅读 · 0 评论 -
HADOOP 的 LZO 压缩 hadoop-lzo 编译
HADOOP 支持 LZO 的 hadoop-lzo 编译twitter 提供的 lzo 压缩的开源组件：hadoop-lzo。原创 2022-08-30 16:17:50 · 283 阅读 · 1 评论 -
Hadoop 集群时间同步设置
设置服务器集群的时间同步，一台机器同时间服务器对时，其他机器与这台服务器对时，就是发生断网等情况，也可以保证内部所有服务器都时间统一；时间同步方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间；...原创 2022-08-30 14:13:44 · 2799 阅读 · 0 评论