- 博客(10)
- 收藏
- 关注
原创 配置Hive直连数据库模式(一)
本实验使用直接解压MySQL安装包方式安装MySQL,安装过程和说明如下(MySQL的安装过程均在。无论在什么目录下以任何方式启动Hive,只要连接的是同一台Hive服务,所有节点访问的元数据信息均是一致的,从而实现元数据的共享。也采用外部数据库存储元数据,不同的是,远程模式需要单独开启MetaStore服务。直连数据库模式也叫本地模式,它和远程模式安装配置方式大致相同,本质上是将Hive默认的元数据存储介质由。Hive的安装模式分为3种,分别是内嵌模式、直连数据库模式(或本地模式)和远程模式。
2024-01-04 20:41:49
698
1
原创 搭建Hadoop单机模式(下)
打开Hadoop官方网站,直接将Hadoop英文介绍复制下来作为案例数据,保存到~/input/hadoop.txt中。将hadoop-mapreduce-examples-3.1.4.jar文件复制到~中。如果再次执行程序,请先删除output或者建立新的文件。查看运行结果,part-r-00000文件就是执行结果。执行以下命令,刷新 profile 文件,使修改生效。执行以下命令,测试Hadoop版本信息。
2023-11-14 15:01:23
69
原创 搭建Hadoop单机模式(上)
使用 Xshell 将JDK 安装包 jdk-8u281-linux-x64.rpm 上传到虚拟机的“/usr/local”目录下,然后查看安装包是否存在。默认情况下,CentOS 系统的 IP 地址是自动获取(即动态分配)的,为了避免以后 IP 地址随意发生改变,需要为系统设置固定 IP。系统预装了 OpenJDK,但该版本的 JDK 功能有所精简,为避免使用系统默认使用OpenJDK,需要先将所有的openjdk卸载。修改完成后,需执行以下命令重启网络服务,使修改生效。”命 令 ,安装jdk。
2023-11-14 14:57:18
131
原创 Hadoop完全分布式启动成功后,HDFS监控内存等信息全为0
4.找到data的VERSION文件,将文件中的clusterID的值换成上边复制的内容。在master节点下找到hadoop-3.1.4的安装目录。3.打开相应路径,找到VERSION,进行复制。2.打开集群的配置文件,找到相应路径。找到下边这行代码复制一下。
2023-11-02 16:04:52
324
3
原创 Eclispe中编写MapReduce任务常见问题(希望可以帮到你)
2)在本地hadoop的bin目录下放入libwinutils.lib文件和winutils.exe文件(有的不加也可以,视情况而定)配置文件放入本地hadoop安装路径的/etc/hadoop/目录下。解决办法:修改本地hadoop路径下的core-site.xml文件中IP地址,与集群的地址保持一致。解决办法:1)在C:\Windows\System32目录下放入hadoop.dll文件。解决办法:在主函数中加上hfds-site.xml和core-site.xml的配置文件。
2022-11-19 10:43:26
327
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人