hadoop
文章平均质量分 61
张小竟
用我力所能及的事情,一步一步走向我期待的未来,交流QQ群:463175657
展开
-
pyspark集成anaconda类库,pyspark调用hive
CDH集成ananconda的资料。以及oozie调用anaconda的资料很少,这里写一篇,希望大家一起学习下原创 2019-11-07 17:00:27 · 2553 阅读 · 0 评论 -
关于hive环境搭建
hive的安装很简单,主要是配置mysql,以及hive的配置文件,我们采用yum下载原创 2016-01-06 15:45:45 · 378 阅读 · 0 评论 -
hadoop运营管理岩机,坏块,负载均衡
我们在企业中很容易遇到以下问题:岩机(重启无效),坏块,负载均衡。岩机,其实很简单,我们把那个进程杀死就是了。坏块怎么办,hadoop修复坏块的能力很慢,我们要等他自己修复吗???NO!!!hadoop fsck / -delete ,这个命令删除坏块。负载均衡呢,其实很多人说,可以把blanacer服务打开,可是这是对于集群而言,要是我说的负载均衡是指一个服务器内两块磁盘的负载均衡,如何???将对应的/data/hadoop/dn/current/下的块文件移到占用率少的磁盘对应的文件夹下。原创 2016-01-06 15:59:06 · 1317 阅读 · 0 评论 -
Hive内存溢出的问题
我们如何解决hive运行时内存溢出的问题,首先,增大mapreduce内存,其次增大TaskTracker内存原创 2016-01-09 12:51:59 · 3056 阅读 · 0 评论 -
linux解决网络冲突问题
克隆虚拟机后,虚拟机OS中还保留了克隆前的MAC地址,导致网卡不能被识别。解决办法是下以下文件中记录的网卡信息删除,然后重启,让Linux引导时重新识别网卡。/etc/udev/rules.d/70-persistent-net.rules原创 2015-12-27 20:32:27 · 1317 阅读 · 0 评论 -
hive组件二次开发之HiveF
本文详细介绍了关于hive -f 组件的封装,原因是,hive -f 组件虽然能封装文件,却无法传参,给开发带来诸多不便,如今我们用Java代码完成sql传参,用hive -e执行传参后的sql语句原创 2016-01-15 14:24:41 · 961 阅读 · 0 评论 -
sqoop导入导出
sqoop看了这么多,昨天犯了一个低级错误,把没有经过hive或者hbase处理的数据直接导出到mysql,这样默认支持的列分隔符是‘,’,而我的是'\t',所以老是报错,后来改了一下,把列分割符改成hive的默认分隔符'\001',成功!!!原创 2016-01-15 14:41:28 · 559 阅读 · 0 评论 -
centos6.5 yum安装redis
用yum安装redis在网上一直搜不到,今天我整理了一下,希望对大家有帮助原创 2017-01-20 16:56:16 · 3348 阅读 · 0 评论 -
zookeeper实现分布式共享锁
这里,一般,都是创建临时有序子节点,怎么来创建,不难 说到协调,我首先想到的是北京很多十字路口的交通协管,他们手握着小红旗,指挥车辆和行人是不是可以通行。如果我们把车辆和行人比喻成运行在计算机中的单元(线程),那么这个协管是干什么的?很多人都会想到,这不就是锁么?对,在一个并发的环境里,我们为了避免多个运行单元对共享数据同时进行修改,造成数据损坏的情况出现,我们就必须依赖像锁这样的协调机...原创 2018-12-05 16:30:38 · 213 阅读 · 0 评论 -
关于jps命令-bash: jps: command not found 解决方案
centos6.3 64位有Java1.5自带,当我安装CDH4时,习惯用老的方法来查看进程是否正确启动,即jps,可是他却告知-bash: jps: command not found原因很简单,java1.5没有jps命令以下为解决方式:查看Java1.5位置[hadoop@master bin]$ which java/usr/bin/java原创 2016-01-01 16:47:05 · 63716 阅读 · 4 评论 -
MapReduce操作mysql数据库
小狼最近在看mapreduce操作的东西,看到好多以前一知半解的东西接下来,小狼贴出mapreduce操作mysql数据库测试数据CREATE TABLE `t` (`id` int DEFAULT NULL,`name` varchar(10) DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=utf8; CREATE TABLE原创 2015-11-25 14:39:40 · 1410 阅读 · 0 评论 -
根据mysql表中字段创建hbase表
根据mysql表中字段创建hbase表,小狼今天很郁闷,我想要mysql中表的字段同步到hbase列族上去,非得在那dos上写命令行,今天想了一个方法,用代码完成原创 2015-11-17 11:35:38 · 1256 阅读 · 0 评论 -
Java代码探查hbase表结构及数据
小狼一直在思考一个问题,怎么把hbase里面一个表的内容用Java代码的形式表现出来,Java代码探查hbase表结构及数据原创 2015-11-17 11:50:16 · 3371 阅读 · 0 评论 -
Java代码为hbase删除一张表
小狼最近在狠狠的研究Java操作hbase,今天就来说说怎么用Java删除hbase一张表/** * 删除一张表 * @param tableName 表名 */ public static void dropTable(String tableName) { try { HBaseAdmin admin = new HBaseAdmin(configuration);原创 2015-11-17 13:23:44 · 769 阅读 · 0 评论 -
Redis简单操作Java代码
public void main(String[] args) { // TODO Auto-generated method stub System.out.println(getRedisData("hyw")); } private Jedis jedis; public Redis(){ jedis = new Jedis(Host.redis_ip, 6379)原创 2015-11-17 14:13:36 · 486 阅读 · 0 评论 -
MapReduce操作二度人脉二
小狼上回写的二度人脉有冗余算法,没有很好的体现mapreduce的性能首先,friendmysql表结构如下: betweens表结构如下:原创 2015-12-10 11:08:20 · 1094 阅读 · 0 评论 -
Java操作hbase CURD
/** * 根据 rowkey删除一条记录 * @param tablename 表名 * @param rowkey 主键 */ public static void deleteRow(String tablename, String rowkey) { try { HTable table = new HTable(configuration, tablena原创 2015-11-17 13:46:36 · 616 阅读 · 0 评论 -
mapreduce操作单表关联数据
mapreduuce操作单表关联数据,数据结构如下 child parent To原创 2015-12-10 11:42:55 · 865 阅读 · 0 评论 -
solrj分词Java使用
小狼最近在看solr分词,环境是搭好了,但是小狼想把这个算出来的分词放到Java端,很纠结原创 2015-11-24 11:27:21 · 1880 阅读 · 0 评论 -
MapReduce结合hbase探查二度人脉
二度人脉,通俗一点讲,好友的好友,即,查好友表,把好友找出来,再查好友表,把好友的好友找出来。mapreduce中是将hbase中以行健为分割符一行一行的运行map方法,然后map都运行结束后,完成reducer方法的运行,reduer是以map方法中context.write(key.vvalue);中key为分隔符一行一行的运行原创 2015-11-11 10:43:43 · 632 阅读 · 0 评论