hadoop
文章平均质量分 96
牧竹子
且行且珍惜
展开
-
kettle spoon创建带参数定时任务并关闭它
ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。新版本的可以支持mysql8了,但是我这里是服务器上已经有7.0的版本了默认只支持mysql8以下的版本驱动,主要是驱动名称无法手动修改,因此需要mysql8只能通过其他方式;点击箭头执行,它会不停的5分钟一次执行,查看执行结果,绿色START开始-黑色START结束。这里以mysql为例,创建一个表log,复制该表为log_1。原创 2024-02-06 14:30:08 · 2155 阅读 · 0 评论 -
我的hadoop配置
参考资料http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.htmlhttp://www.iyunv.com/thread-25655-1-1.html虚拟机环境Hadoop1.2.1Cenos 6.5 x86 参考 1.2.1 的配置信息http://www.douban.com/note原创 2015-11-17 09:18:11 · 440 阅读 · 0 评论 -
Hadoop第一篇:hadoop2.7.5单机版安装
hadoop2.7.5单机版安装简介Hadoop主要完成两件事,分布式存储和分布式计算。Hadoop主要由两个核心部分组成:1.HDFS:分布式文件系统,用来存储海量数据。2.MapReduce:并行处理框架,实现任务分解和调度。HDFS是一个分布式文件系统,用来存储和读取数据的。文件系统都有最小处理单元,而HDFS的处理单元是块。HDFS保存的文件被分成块进行存储,默认的块大小是...原创 2018-09-18 21:43:06 · 3161 阅读 · 0 评论 -
hadoop第二篇:使用Maven开发Hadoop编程进阶
Hadoop第二篇:使用Maven开发Hadoop编程进阶如何进行java代码开发进行符合自己需求的实践,先从Wordcount看看它是如何做的,这里从使用java接口看看一些基本的操作开始。基础环境win7JDK1.8maven安装IDEAHadoop在centos上部署完成(单机版,请参看前一篇)java代码IDEA创建一个java项目pom.xml如下<?xm...原创 2018-09-18 21:48:27 · 774 阅读 · 0 评论 -
Hbase单机安装和javaAPI客户端链接测试
Hbase单机安装本测试机的信息如下centos 7192.168.1.101 master关掉所有的zookeeper,使用外部的ZK,导致冲突。单机版会使用自带的zookeeper启动,避免端口被占用,这个地方很容易进坑查看zk端口是否被占用,被占用的一律关掉,只有在分布式情况下使用外部zk需要配置才可以使用netstat -antp | fgrep 2181hotname...原创 2019-01-03 22:47:31 · 1270 阅读 · 1 评论 -
Hbase使用javaAPI链接调用和过滤器API的使用
javaAPI调用链接HbasejavaAPI链接Hbase的基础demo,后面的过滤部分也以此table为主pom <!--HBASE START--> <dependency> <groupId>org.apache.hbase</groupId> <artifactId&am原创 2019-01-05 14:15:26 · 702 阅读 · 2 评论 -
HBase的概述基本组件和数据常用shell脚本操作
HBase的概述架构及基本组件概述:1.HBase是一个构建在HDFS上的分布式列存储系统之上的表结构系统;2.HBase是基于Google BigTable模型开发的,典型的key/value系统;3.主要用于海量结构化非固定模式数据存储;将数据按照表、行和列进行存储。4.与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。术语缩写...原创 2019-01-02 18:53:41 · 1419 阅读 · 0 评论 -
Phoenix使用指南
PhoenixPhoenix是构建在HBase上的一个SQL层,能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表,插入数据和对HBase数据进行查询,如果可以像操作mysql等一样通过sql实现对Hbase的操作,那么很大程度降低了Hbase的使用成本。Apache Phoenix 组件就完成了这种需求,官方注解为 “Phoenix -we put the SQL bac...原创 2019-01-07 18:49:06 · 1284 阅读 · 0 评论 -
hadoop执行任务时常见exception
hadoop.mapred.FileAlreadyExistsExceptionException in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://master:9000/mnt/hadoop/out already exists at org.apach...原创 2019-01-09 18:58:36 · 423 阅读 · 0 评论