- 博客(10)
- 收藏
- 关注
RSS订阅原创 配置Hive直连数据库模式（一）
本实验使用直接解压MySQL安装包方式安装MySQL，安装过程和说明如下（MySQL的安装过程均在。无论在什么目录下以任何方式启动Hive，只要连接的是同一台Hive服务，所有节点访问的元数据信息均是一致的，从而实现元数据的共享。也采用外部数据库存储元数据，不同的是，远程模式需要单独开启MetaStore服务。直连数据库模式也叫本地模式，它和远程模式安装配置方式大致相同，本质上是将Hive默认的元数据存储介质由。Hive的安装模式分为3种，分别是内嵌模式、直连数据库模式（或本地模式）和远程模式。
2024-01-04 20:41:49
680
1
原创 搭建Hadoop单机模式（下）
打开Hadoop官方网站，直接将Hadoop英文介绍复制下来作为案例数据，保存到~/input/hadoop.txt中。将hadoop-mapreduce-examples-3.1.4.jar文件复制到~中。如果再次执行程序，请先删除output或者建立新的文件。查看运行结果，part-r-00000文件就是执行结果。执行以下命令，刷新 profile 文件，使修改生效。执行以下命令，测试Hadoop版本信息。
2023-11-14 15:01:23
65
原创 搭建Hadoop单机模式（上）
使用 Xshell 将JDK 安装包 jdk-8u281-linux-x64.rpm 上传到虚拟机的“/usr/local”目录下，然后查看安装包是否存在。默认情况下，CentOS 系统的 IP 地址是自动获取（即动态分配）的，为了避免以后 IP 地址随意发生改变，需要为系统设置固定 IP。系统预装了 OpenJDK，但该版本的 JDK 功能有所精简，为避免使用系统默认使用OpenJDK，需要先将所有的openjdk卸载。修改完成后，需执行以下命令重启网络服务，使修改生效。”命 令 ，安装jdk。
2023-11-14 14:57:18
128
原创 Hadoop完全分布式启动成功后，HDFS监控内存等信息全为0
4.找到data的VERSION文件，将文件中的clusterID的值换成上边复制的内容。在master节点下找到hadoop-3.1.4的安装目录。3.打开相应路径，找到VERSION，进行复制。2.打开集群的配置文件，找到相应路径。找到下边这行代码复制一下。
2023-11-02 16:04:52
309
3
原创 Eclispe中编写MapReduce任务常见问题（希望可以帮到你）
2）在本地hadoop的bin目录下放入libwinutils.lib文件和winutils.exe文件（有的不加也可以，视情况而定）配置文件放入本地hadoop安装路径的/etc/hadoop/目录下。解决办法：修改本地hadoop路径下的core-site.xml文件中IP地址，与集群的地址保持一致。解决办法：1）在C:\Windows\System32目录下放入hadoop.dll文件。解决办法：在主函数中加上hfds-site.xml和core-site.xml的配置文件。
2022-11-19 10:43:26
323
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人