Java客户端操作HDFS

1. 在Eclipse或者IDEA中新建Maven项目 2.设置pom.xml文件,添加hadoop-comm、hadoop-hdfs和jdk.tools依赖 <dependency> <groupId&amp...

2018-09-03 10:56:10

阅读数 64

评论数 0

寻找丑数Java实现

题目:把只包含因子2、3和5的数称作丑数(Ugly Number)。例如6、8都是丑数,但14不是,因为它包含因子7。 习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第N个丑数。  丑数即:可分解为质数的乘积,且质数只能是2,3或5。   Java实现代码如下: public cla...

2018-08-25 20:51:51

阅读数 69

评论数 0

使用JDBC连接hiveserver2

1. 先在linux中启动hiveserver2 命令:hive --service hiverserver2   2. 使用Eclipse创建java项目,并在项目中导入以下jar包(可在hadoop/share/lib和hive/lib中找) 3. Hive的JDVC客户端操作步骤...

2018-08-19 16:38:30

阅读数 220

评论数 0

使用sqoop将Hive中的数据导出到mysql及异常Job failed as tasks failed.

1. 使用以下语句尝试从Hive中导出数据到mysql /sqoop export --connect jdbc:mysql://***.***.***.***./companyinfo --username root --password password -m 1 --table tests...

2018-08-19 16:27:41

阅读数 540

评论数 0

hive图形界面hwi启动及异常 Ant could not find the task or a class this task relies upon.

一. hwi即 HiveWebInterface,在启动前,先要配置好相应的war包。 1. 在apache官网下载好对应Hive版本的源码文件 2. 解压此压缩文件,在hwi目录下找到web文件夹。 3. 将这个web文件夹打包为war包,执行命令:jar cvfM0 hive-hwi...

2018-08-16 19:56:21

阅读数 142

评论数 0

hive 异常 Establishing SSL connection without server's identity verification is not recommended

在启动hive时出现以下异常: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6...

2018-08-16 19:56:14

阅读数 58

评论数 0

hive异常:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

在启动hive时出现以下错误。 尝试hive元数据库初始化,执行 schematool -dbType mysql –initSchema, 又出现错误HiveSchemaTool:Parsing failed. 重新尝试 schematool  –initSchema -dbTyp...

2018-08-16 19:56:04

阅读数 544

评论数 0

Hive的安装配置

操作系统centOS 6.5 Hadoop版本:hadoop 2.7.6 JDK版本:JDK 1.8 ant版本:ant 1.10.5 mysql版本:mysql 5.7   一、安装准备 1. 从官网下载解压hive的bin压缩文件 , 此处使用的是hive-2.1.1版本 ...

2018-08-16 19:53:17

阅读数 46

评论数 0

windows环境下安装配置hadoop

虽然hadoop主要在Linux环境运行,但是开发阶段有时需要在windows电脑上编写并测试程序,故需要在windows环境下安装配置hadoop。此次以hadoop2.7.6为例:   1. 从Apache官网下载2.7.6的binary文件 2. 将此文件解压到windows中的任...

2018-08-15 11:32:19

阅读数 54

评论数 0

securtCRT连接Linux没有输入密码登录的界面

       配置Linux (centos) 虚拟机的静态ip后,使用securtCRT连接Linux时发现connect后无法显示输入密码界面,并且cmd中也无法ping通centos的ip 192.168.***.***。自己摸索发现了一个解决办法:        1. 在comzhon中...

2018-08-15 11:17:53

阅读数 1163

评论数 0

Linux环境ping不通外网unknown host www.baidu.com问题解决

  Linux系统在测试网络ping www.baidu.com显示错误unknown host www.baidu.com. 可以通过设置虚拟机网络编辑器,将NAT模式中的子网和网关设置为和本机ip一个字段。重新启动即可正常联网。 ...

2018-08-15 11:09:29

阅读数 275

评论数 0

securtCRT连接Linux

一、 如果要进行Linux远程连接,需要两点: 1.  Linux上有ssh服务 2.  需要使用ssh客户端工具(此处选择securtCRT)   二、 ssh安装配置 1. 关闭防火墙 关闭命令:service iptables stop 设置开机关闭防火墙:chkconfig ...

2018-08-15 11:05:27

阅读数 112

评论数 0

Linux环境Hadoop的下载安装

1. Hadoop的下载 windows在Apache官网下载2.7.6的binary文件,通过FTP传输到centOS虚拟机。   2. 解压安装:tar xzvf hadoop-2.7.6.tar.gz -C /usr/local/hadoop   3. 查看安装的版本是多少...

2018-08-15 11:02:53

阅读数 958

评论数 0

Linux配置SSH免密登录

一、准备 1. 同步时间 date 命令可以查看虚拟机当前日期和时间 date -s "2018-08-08 08:08:08" 手动设置时间 ntpdate cn.pool.ntp.org 网络同步时间 2. 设置主机名 方式一:vim /etc/...

2018-08-15 10:57:48

阅读数 68

评论数 0

Linux环境下安装JDK

1. windows主机先下载好jdk for linux,再通过FTP传输到虚拟机centos6.5 2. 在虚拟机上对JDK压缩文件进行解压缩 命令:tar xzvf jdk-8u181-linux-x64.tar.gz –C /usr/local 3. 随后进入/usr/loc...

2018-08-15 10:56:22

阅读数 30

评论数 0

ftp传输文件到Linux错误553 Could not ceate file解决

1. 先运行getsebool -a | grep ftp查看selinux中有哪些是关于ftp的 2. 设置all_ftpd_anon_write和allow_ftpd_full_access为on状态 setsebool -P allow_ftpd_anon_write on set...

2018-08-15 10:54:52

阅读数 343

评论数 0

8uftp连接linux并传输文件

一、要进行ftp连接,一般需要满足两点 1. Linux系统上安装好FTP服务 2. 客户端工具:此处选择的是8uftp,安装简单   二、FTP服务的安装配置 1. 先确定已关闭防火墙iptables 查询状态:service iptables status 关闭防火墙:servi...

2018-08-15 10:52:31

阅读数 319

评论数 0

Java关键字

  一、关键字总览 访问控制 private protected public 类,方法和变量修饰符 abstract class extends final implements interface native new static...

2018-07-27 12:32:31

阅读数 34

评论数 0

Java运算符及运算符优先级详解:包括 i=i++的结果

一、算术运算符 符 描述 例子 + 加法 - 相加运算符两侧的值 A + B 等于 30 - 减法 - 左操作数减去右操作数 A – B 等于 -10 * 乘法 - 相乘操作符两侧的值 A * B等于200 / 除法 - 左操...

2018-07-27 09:12:07

阅读数 637

评论数 2

Java基本数据类型详解

Java中的基本数据类型 1. 整数型 类型 大小 范围 示例 byte 占一个字节 -128~127 byte b = 10; short 占两个字节 -2^15~2^15-1 short s = 20; int 占四个...

2018-07-27 09:02:32

阅读数 48

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭