Hello Tez

最新推荐文章于 2022-06-29 15:16:16 发布
最新推荐文章于 2022-06-29 15:16:16 发布
阅读量1.6k 收藏
点赞数
分类专栏： Hadoop 文章标签： BigData
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zqhxuyuan/article/details/43196653
版权

Tez

http://www.infoq.com/cn/articles/apache-tez-saha-murthy  

http://hortonworks.com/blog/apache-tez-a-new-chapter-in-hadoop-data-processing/ 

http://www.cnblogs.com/fxjwind/p/3377695.html 

http://zcdeng.iteye.com/blog/1897208 

http://blog.sequenceiq.com/blog/2014/09/23/topn-on-apache-tez/ 

 

1) 编译protobuffer

$ tar zxf protobuf-2.5.0.tar.gz

$ cd protobuf-2.5.0

$ ./configure && make && sudo make install

$ protoc --version

libprotoc 2.5.0

2) 修改nodejs和npm的版本

由于本机已经安装了node.js和npm

hadoop@hadoop:~$ node --version

v0.10.33

hadoop@hadoop:~$ npm --version

1.4.28

为了和版本一致, 修改tez-ui的pom.xml. 试过注释掉<!--NPM Install-->那段代码, 但是会报错. 

  <properties>

    <webappDir>src/main/webapp</webappDir>

    <!-- /usr/local/bin/node -->

    <node.executable>${basedir}/src/main/webapp/node/node</node.executable>

    <fileName>${artifactId}-${parent.version}</fileName>

    <nodeVersion>v0.10.33</nodeVersion> <!--v0.10.18  1.3.8-->

    <npmVersion>1.4.28</npmVersion>

  </properties>

3) 编译tez

hadoop@hadoop:~/github/apache/tez$ mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true



Tez on YARN

http://blog.woopi.org/wordpress/?p=96 

http://hadooptutorial.info/apache-tez-successor-mapreduce-framework/

http://blog.csdn.net/teddeyang/article/details/19564603 

$ cd /home/hadoop/github/apache/tez/tez-dist/target/tez-0.7.0-SNAPSHOT

$ mkdir conf 

$ hadoop fs -mkdir /apps

$ hadoop fs -mkdir /apps/tez

$ hadoop fs -put /home/hadoop/github/apache/tez/tez-dist/target/tez-0.7.0-SNAPSHOT /apps/tez

$ vi conf/tez-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

    <name>tez.version</name>

    <value>tez-0.7.0-SNAPSHOT</value>

  </property>

  <property>

    <name>tez.lib.uris</name>

    <value>${fs.default.name}/apps/tez/${tez.version},${fs.default.name}/apps/tez/${tez.version}/lib/</value>

  </property>

</configuration>

$ vi ~/.bashrc

export TEZ_HOME=/home/hadoop/github/apache/tez/tez-dist/target/tez-0.7.0-SNAPSHOT

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:${TEZ_HOME}/conf:${TEZ_HOME}/*:${TEZ_HOME}/lib/*

另一种方案是复制tez-site.xml到$HADOOP_HOME/etc/hadoop下, 并修改hadoop-env.sh文件. 这种侵入性大, 不建议. 

vi ${HADOOP_INSTALL}/etc/hadoop/hadoop-env.sh

export HADOOP_CLASSPATH=$HADOOP_HOME:$HADOOP_HOME/etc/hadoop

for f in /home/hadoop/github/apache/tez/tez-dist/target/tez-0.7.0-SNAPSHOT/*.jar; do

  if [ "$HADOOP_CLASSPATH" ]; then

    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$f

  else

    export HADOOP_CLASSPATH=$f

  fi

done

for f in /home/hadoop/github/apache/tez/tez-dist/target/tez-0.7.0-SNAPSHOT/lib/*.jar; do

  if [ "$HADOOP_CLASSPATH" ]; then

    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$f

  else

    export HADOOP_CLASSPATH=$f

  fi

done

可选步骤:

$ vi ${HADOOP_HOME}/etc/hadoop/mapred-site.xml

  <property>

    <name>mapreduce.framework.name</name>

    <value>yarn-tez</value>

  </property>

 

Tez WorldCount

$ stop-yarn.sh

$ start-yarn.sh

$ cd ~/github/apache/tez/tez-dist/target/tez-0.7.0-SNAPSHOT

$ hadoop fs -put ~/data/helloworld.txt /input/tez

$ hadoop jar tez-examples-0.7.0-SNAPSHOT.jar orderedwordcount /input/tez/helloworld.txt /output/tez/helloworld


hadoop@hadoop:~/github/apache/tez/tez-dist/target/tez-0.7.0-SNAPSHOT$ hadoop fs -ls /output/tez/helloworld

-rw-r--r--   3 hadoop supergroup          0 2015-01-20 19:33 /output/tez/helloworld/_SUCCESS

-rw-r--r--   3 hadoop supergroup        130 2015-01-20 19:33 /output/tez/helloworld/part-v002-o000-00000

hadoop@hadoop:~/github/apache/tez/tez-dist/target/tez-0.7.0-SNAPSHOT$ hadoop fs -cat /output/tez/helloworld/part-v002-o000-00000

again 1

system. 1

Spark 1

system, 1

process 1

Now 1

hot 1

today 1

batch 1

also 1

.. 2

bigdata 2

a 2

Hadoop 2

Hello 3

world 3

is 3

可以看到结果安装word的count进行升序排列. 在 http://localhost:8088/cluster 


$ hadoop jar tez-tests-0.7.0-SNAPSHOT.jar testorderedwordcount -DUSE_TEZ_SESSION=true \

/input/tez/helloworld.txt /output/tez/helloworld2 /input/tez/helloworld2.txt /output/tez/helloworld3

15/01/20 20:01:04 INFO examples.TestOrderedWordCount: Creating Tez Session

15/01/20 20:01:04 INFO client.TezClient: Tez Client Version: [ component=tez-api, version=0.7.0-SNAPSHOT, revision=83261659809f7904b786c9c81def4451dca27078, SCM-URL=scm:git:https://git-wip-us.apache.org/repos/asf/tez.git, buildTime=20150120-1554 ]

15/01/20 20:01:04 INFO client.RMProxy: Connecting to ResourceManager at localhost/127.0.0.1:8032

15/01/20 20:01:04 INFO client.TezClient: Session mode. Starting session.

15/01/20 20:01:04 INFO Configuration.deprecation: fs.default.name is deprecated. Instead, use fs.defaultFS

15/01/20 20:01:04 INFO client.TezClientUtils: Using tez.lib.uris value from configuration: 

hdfs://localhost:9000/apps/tez/tez-0.7.0-SNAPSHOT,hdfs://localhost:9000/apps/tez/tez-0.7.0-SNAPSHOT/lib/

15/01/20 20:01:04 INFO client.TezClient: Tez system stage directory 

hdfs://localhost:9000/tmp/hadoop/tez/staging/1421755263939/.tez/application_1421753603786_0002 doesn't exist and is created

15/01/20 20:01:04 INFO impl.YarnClientImpl: Submitted application application_1421753603786_0002

15/01/20 20:01:04 INFO client.TezClient: The url to track the Tez Session: http://localhost:8088/proxy/application_1421753603786_0002/

15/01/20 20:01:04 INFO examples.TestOrderedWordCount: Running OrderedWordCount DAG, 

dagIndex=1, inputPath=/input/tez/helloworld.txt, outputPath=/output/tez/helloworld2

15/01/20 20:01:05 INFO examples.TestOrderedWordCount: Checking DAG specific ACLS

15/01/20 20:01:05 INFO examples.TestOrderedWordCount: Waiting for TezSession to get into ready state

15/01/20 20:01:08 INFO examples.TestOrderedWordCount: Submitting DAG to Tez Session, dagIndex=1

15/01/20 20:01:08 INFO client.TezClient: Submitting dag to TezSession, 

sessionName=OrderedWordCountSession, applicationId=application_1421753603786_0002, dagName=OrderedWordCount1

15/01/20 20:01:08 INFO client.RMProxy: Connecting to ResourceManager at localhost/127.0.0.1:8032

15/01/20 20:01:08 INFO examples.TestOrderedWordCount: Submitted DAG to Tez Session, dagIndex=1

15/01/20 20:01:15 INFO examples.TestOrderedWordCount: DAG 1 completed. FinalState=SUCCEEDED

examples.TestOrderedWordCount: Running OrderedWordCount DAG, dagIndex=2, inputPath=/input/tez/helloworld2.txt, outputPath=/output/tez/helloworld3

15/01/20 20:01:15 INFO examples.TestOrderedWordCount: Checking DAG specific ACLS

15/01/20 20:01:15 INFO examples.TestOrderedWordCount: Waiting for TezSession to get into ready state

15/01/20 20:01:15 INFO examples.TestOrderedWordCount: Submitting DAG to Tez Session, dagIndex=2

15/01/20 20:01:15 INFO client.TezClient: Submitting dag to TezSession, 

sessionName=OrderedWordCountSession, applicationId=application_1421753603786_0002, dagName=OrderedWordCount2

15/01/20 20:01:15 INFO client.RMProxy: Connecting to ResourceManager at localhost/127.0.0.1:8032

15/01/20 20:01:15 INFO examples.TestOrderedWordCount: Submitted DAG to Tez Session, dagIndex=2

15/01/20 20:01:16 INFO examples.TestOrderedWordCount: DAG 2 completed. FinalState=SUCCEEDED

15/01/20 20:01:16 INFO examples.TestOrderedWordCount: Shutting down session

client.TezClient: Shutting down Tez Session, sessionName=OrderedWordCountSession, applicationId=application_1421753603786_0002

查看yarn web


zqhxuyuan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
tez-0.10.1.zip
03-22
基于github tez最新版本编译，编译日期为2021-03-22，压缩包带有tar包和tez-ui的war包
安装Tez 0.9.0
YonJarLuo的博客
10-13 3025
安装Tez 0.9.0  安装这个东西，花了3天时间.............. 网上找的资料大部分都是要么低版本的，要么写很乱，又不详细.......... 走了许多弯路，最后在大神的帮助下，完成了tez0.9.0的安装。希望对大家有帮助！ 一、首先到官网下载tez0.9.0-bin.tar.gz版本的压缩包 这里选择bin包的原因是不需要手动地去编译，节省时间
tez 0.9.0 的安装和测试
Aidon博客
03-14 762
文章目录1 tez的概览1.1 tez介绍1.1.1 介绍2 tez的安装2.1 tez下载2.2 tez源码编译2.3 tez的安装2.3.1 解压并配置环境2.3.2 配置配置文件2.4 tez、hadoop、hive整合2.4.1 tez和hadoop的兼容2.4.2 tez和hive结合3 tez案例3.1 tez执行3.2 还原mr执行4 tez优化5 更新tez 1 tez的概览 环境...
Apache Tez0.7编译笔记
dotedy的博客
01-17 637
目前最新的Tez版本是0.8，但还不是稳定版，所以大家还是先下载0.7用吧  由于编译Tez-UI模块，需要使用nodejs，所以建议还是  提前安装nodejs 和npm工具，安装方式，可以下载源码安装  也可以yum安装，安装步骤：  （1）安装nodejs镜像  sudo curl --silent --location https://rpm.noetup | sudo
Tez安装配置
qq_45143653的博客
06-29 1242
介绍：hive默认计算引擎为MR，而MR的特性决定了它的运算速度并不是太让人满意。在此将其运算引擎修改为Tez（当然在此需要先安装Tez），Tez基于内存的计算使得hive可以有更高的运算效率对于 Tez 0.8.3 及更高版本，Tez 需要 Apache Hadoop 为 2.6.0 或更高版本。 对于 Tez 0.9.0 及更高版本，Tez 需要 Apache Hadoop 为 2.7.0 或更高版本。一、下载tez的依赖包：http://tez.apache.org 然后解压apache-tez-0.
CDH6.3.2集成tez
最新发布
03-01
CDH6.3.2集成tez
apache-tez源码
03-24
Apache Tez 是一个高度可扩展和灵活的数据处理框架，它构建在 Apache Hadoop 上，用于执行复杂的、有向无环图（DAG）任务。这个框架优化了 MapReduce 模型，提供了更高效的并行计算能力，适用于大规模数据处理工作。...
cdh继承tez引擎 cdh添加tez引擎 hive引擎增加
07-07
在CDH环境中集成Tez引擎以提升Hive的性能，主要涉及以下几个关键步骤和知识点： 1. **Hadoop版本匹配**： CDH版本需要与Tez版本相匹配。在这个例子中，CDH版本是6.2.0，而Tez版本是0.9.1。确保使用兼容的Hadoop...
Apache TEZ部署手册
04-11
1. 解压 tar 包 `tar –zxvf ./tez/tez-dist/target/tez-0.7.0.tar.gz` 和 `tar –zxvf ./tez/tez-dist/target/tez-0.7.0-minimal.tar.gz`。 2. 将 tez-0.7.0 上传到 HDFS `hadoop fs –mkdir /apps` 和 `hadoop fs ...
Hive on Tez
Simon的博客
03-25 1280
Hive2.3.4 on Tez0.8.4 (Hadoop 2.7.7) 一.软件版本选择 Hive on Tez 和Hive on Spark 对各自的版本匹配非常严格。本次选定Hadoop版本为2.7.7、Hive版本为2.3.4。 查看Hive源码：https://github.com/apache/hive/blob/rel/release-2.3.4/pom.xml下的p...
hive 使用TEZ的安装配置
热门推荐
gao634209276的博客
08-27 1万+
hive,tez,hadoop2
Hive JDBC连接Tez（AM）容器长期不释放问题的解决方法
Laurence的技术博客
01-30 6426
Hive JDBC连接Tez（AM）容器长期不释放问题的解决方法 问题 有这样一个问题是很常见的：如果我们的Hive使用默认使用Tez作为执行引擎，当我们使用IDE通过Hive JDBC连接时，会出现在一个很“有趣”的想象：即如果我们不断开这个JDBC连接，则在Yarn上会持续有有一个Tez的AM容器持续存在，只有当端开JDBC连接时，这个容器才会被释放。关于Tez在Yarn的资源布局，可参考这篇...
Hive引擎替换为tez
NoclimbMonkey的博客
04-08 1255
Hive引擎替换为tez Hive的默认计算引擎是MR,但是mapreduce的速度实在是很慢,所以我们考虑将计算引擎更换为tez 安装环境: Hadoop-2.7.4 hive-2.3.6 具体版本根据自己实际情况来 首先tez下载:tez版本请参考官网,我这里是下载的0.9.1 这需要jdk8或更高版本,还有maven3或更高版本 https://mirrors.tuna.tsinghua.e...
Hadoop之计算框架Tez的基本使用
积跬步，至千里。
06-21 2125
Tez是支持DAG作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG 作业的性能。
Tez 配置
weixin_44870066的博客
04-08 1935
1．安装包准备 （1）下载 Tez 的依赖包。 下载地址http://archive.apache.org/dist/tez/ 这里选择0.9.1的版本apache-tez-0.9.1-bin.tar.gz （2）复制 apache-tez-0.9.1-bin.tar.gz 到 hadoop102 节点的/opt/software 目录下。 [xiong@hadoop102 software]$ ll 总用量 125992 -rw-r--r--. 1 root root 67938106 3月 24 1
tez 编译详解
泰格数据
11-19 2816
Tez 0.7和0.8编译 转载2016-03-31 00:23:39 标签：tezhadoop 在tez编译过程中会遇到各种各样的问题，如果你是编译0.5的，因为0.5中没有tez-ui所以编译过程中基本没有什么问题， 先准备环境 1、linux 环境，我的是centos6.4 32位的 2、可编译的maven环境 我这边用得maven3.3.9的
Apache Tez Installation Guide
weixin_34179968的博客
12-26 147
Tez是Apache开源的DAG作业的计算引擎，是为了减小Hive作业的延迟而提出的解决方案，Tez已被Hortonworks用于Hive引擎的优化，经测试，性能提升约100倍。Tez+Hive仍然采用MapReduce计算框架，但对DAG的依赖关系进行了剪裁，并将多个小作业合并成一个大作业，这样不仅作业量减少了，而且写HDFS的次数也会大大减少。Tez具有以下几个特点：（1） 丰富的数据流（da...
hive on tez 错误记录
weixin_34206899的博客
06-19 2575
1、执行过程失败，报Container killed on request. Exit code is 143 如下图： 分析：造成这种原因是由于总内存不多，而容器在jvm中占比过高，修改tez-site.xml文件，添加如下配置： <property> <name>tez.container.max.java....
MonitoredTrainingSession指定is_chief之后，一直报：tensorflow:Waiting for model to be ready. Ready_for_local_...
weixin_34249678的博客
10-14 1403
  MonitoredTrainingSession指定is_chief之后，报错：tensorflow:Waiting for model to be ready. Ready_for_local_init_op: Variables not initialized 原因：还是因为MonitoredTrainingSession中没有指定：master=server.target，添加之后就...
Tez
05-26
``` 12. activity_person.xml ``` ... android:layout_width="match_parent" android:layout_height="match_parent"> ...Tez通过在数据处理过程中动态优化执行计划和资源分配，可以大大提高作业的执行效率和性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值