- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 使用yum下载插件出现：Could not retrieve mirrorlist http://mirrorlist.centos.org/?rel 14: curl#6 - “Could not
yum下载软件出现错误提示Loaded plugins: fastestmirrorCould not retrieve mirrorlist http://mirrorlist.centos.org/?release14: curl#6 - "Could not resolve host: mirrorlist.centos.org; Unknow
2022-12-17 16:02:33
974
1
原创 CentOS7或CentOS6更新yum源
Centos的yum源默认是使用的国外的，所以在下载东西的时候网速可能会比较慢，现在就来教大家修改一下。第一步：下载wget工具[root@master ~]# yum install -y wget显示下载完成后开始第二步骤！（英文的是：Complete）第二步：使用wget工具下载yum源个人感觉163的好用点，如果是Centos6的版本直接把yum源网址里面的7改成6就可以了：http://mirrors.163.com/.help/CentOS6-Base-163.repo.163
2022-05-12 15:37:58
1445
原创 Centos7使用scala从外部MySQL数据库加载数据集出现ERROR TaskSetManager: Task 0 in stage 0.0 failed 4 times； aborting..
环境配置：使用的是Centos7.4版本的虚拟机，然后hive配置的是远程模式（master节点当作客户端，slave节点当作hive端），slave2节点安装的是MySQL数据库；spark版本为1.6.3，scala版本为2.10.6。目的：在spark-shell中使用scala加载外部MySQL数据库中的菜品数据，然后做数据分析工作。出现的问题：在master节点上访问MySQL数据库中的数据库的时候出现问题。ERROR TaskSetManager: Task 0 in stage 0.0
2022-04-10 10:48:57
4387
原创 Python自定义词频统计函数
前言：自定义编写了一个Python的词频统计代码，可以用来统计单词或者词语出现的次数。代码思路：整体思路：前提：做词频统计的数据要是[(‘字符’,1)…]这样的格式。编程思路：1.原始数据是一个列表形式：[‘a’,‘b’,‘c’…],将此列表改成[(‘a’,1),(‘b’,1)…]的样式，可以采用zip()函数。2.将得到的数据进行循环遍历，i[0]取出的是元祖里面下标为0的元素，例如：i[0]就是’a’,同理i[1]就是1。3.然后将字符放到一个列表中，这里需要进行判断，如果该字符存在，我们
2021-12-04 19:17:23
2484
原创 Windows系统下eclipse连接Linux系统hadoop集群提交MapReduce程序报错合集及解决方案
前言：作者使用的Hadoop版本是2.6.0，在Windows系统下使用eclipse编写MapReduce程序提交到集群运行遇到一些报错问题。现针对几种报错给出自己的解决方法。错误一：2021-11-29 16:28:48,544 ERROR [org.apache.hadoop.util.Shell] - Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not loc
2021-12-01 15:36:45
3055
原创 CentOS7.4版本Hadoop高可用模式搭建
前言：仅用于学习交流，配置文件可能和工作中有写差别。本次实验用到的软件有：hadoop-2.6.0.tar.gzjdk-8u161-linux-x64.tar.gzzookeeper-3.4.5.tar.gz搭建前提：已完成hadoop完全分布式所需的所有操作。计划：一主三从的完全分布式hadoop集群，节点名称：master、slave、slave2、slave3选择master节点和slave3节点为Namenode节点一、搭建HA模式，修改相关配置文件1. 创建存放HA的文件夹，
2021-11-17 16:40:04
1335
原创 hive-1.1.0版本远程模式执行sql语句出现错误
错误1：Job Submission failed with exception 'java.io.FileNotFoundException(File does not exist: hdfs://master:9000/usr/local/src/hive/apache-hive-1.1.0-bin/lib/accumulo-fate-1.6.0.jar)'FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exe
2021-11-11 21:53:59
1782
2
原创 CentOS7-Hive远程搭建
一、准备工作：搭建要求：一主三从的Centos7环境的虚拟机 部署安排：选取master节点为客户端,slave为hive端,slave2为MySQL端二、master节点操作：1. 作者的用的hive版本是1.8.0版本。hadoop用的是2.7.3版本，小伙伴们在做的时候要考虑各个组件的版本问题，不冲突就好.(如果嫌名字太长可以换个名字)[root@master software]# tar apache-hive-2.1.1-bin.tar.gz -C /usr/local/
2021-10-31 12:55:33
1177
hadoop-2.6.0~hadoop3.0.0-winutils.zip
2021-12-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人