Hadoop2.7.0+与Spark1.5+已将不支持JDK1.6_jdk高版本限制hadoop-CSDN博客

本文链接：https://blog.csdn.net/zhongwen7710/article/details/45533695

摘要：Hadoop2.7.0已发发布，但该版本已经不支持JDK1.6版本，由于该版本吸取了很多JIRAs，考虑到Bug还在测试中，请暂时不要使用该版本用于生产环境，可以用Hadoop 2.7.1/2.7.2，版本的更新应该很快发布。Spark社区激烈讨论决定，预计2015年6月发布Spark1.4.x，该版本会在Java 6，7，8上面工作；预计2015年9月发布Spark 1.5+，该版本只能在Java 7，8上面工作，不再支持Java 6！详细信息请参考后面详细报道。

Hadoop资讯：

2015年4月21日，Apache Hadoop 2.7.0发布。一共修复了来自社区的535个JIRAs，其中：Hadoop Common有160个；HDFS有192个；YARN有148个；MapReduce有35个。Hadoop 2.7.0是2015年第一个Hadoop release版本，不过需要注意的是：
　　（1）、不要将Hadoop 2.7.0用于生产环境，因为一些关键Bug还在测试中，如果需要在生产环境使用，需要等Hadoop 2.7.1/2.7.2，这些版本很快会发布。
　　（2）、这个版本的Hadoop已经不支持JDK 1.6运行环境，只支持JDK 7+。
此版本主要做的改进如下：

英文原文[参考官网： http://dwz.cn/IZFsS]

Hadoop Common
　　Windows Azure Storage Blob support (HADOOP-9629), available intrunk for a while, is now integrated into branch-2 and released as part of2.7.0.
Hadoop HDFS
　　Enable new read/write scenarios in HDFS by adding support fortruncate (HDFS-3107) and support for files with variable-length blocks(HDFS-3689)
　　Enforce quotas at the Heterogeneous Storage Type granularity inHDFS (HDFS-7584)
　　Enhance management (HDFS-7424) and monitoring (HDFS-7449) for theNFS Gateway Server
Hadoop YARN
　　YARN-3100 – Makes YARN authorization pluggable so that tools likeApache Ranger can provide authorization for YARN job submission operations
　　YARN-1492 – Automatic shared, global caching of YARN localizedresources (beta)
Hadoop MapReduce
　　MAPREDUCE-5583 – Allows the ability to limit the size of a runningMapReduce job by restricting the maximum number of Map or Reduce tasks runningat any point in time
　　MAPREDUCE-4815 – Speed up Hive, Pig and MapReduce jobs that dealwith many output files by making enhancements to the FileOutputCommitter

Hadoop2.7.0下载：Apache Hadoop Releases http://dwz.cn/IZFsS

对以上英文简要翻译如下：

Hadoop Common

1、支持Windows Azure Storage，BLOB作为Hadoop中的文件系统。

Hadoop HDFS

1、支持文件截断（file truncate）；
2、支持每个存储类型配额(Support for quotas per storage type);
3、支持可变长度的块文件

Hadoop YARN

1、YARN安全模块可插拔
2、YARN的本地化资源可以自动共享，全局缓存（测试版）

Hadoop MapReduce

1、能够限制运行的Map/Reduce作业的任务
2、为非常的大Job（有许多输出文件）加快了FileOutputCommitter。

Spark资讯：

原文如下：

Hiall,

Wewill drop support for Java 6 starting Spark 1.5, tentative scheduled to
be released in Sep 2015. Spark 1.4, scheduled to be released in June 2015,
will be the last minor release that supports Java 6. That is to say:

Spark1.4.x (~ Jun 2015): will work with Java 6, 7, 8.

Spark1.5+ (~ Sep 2015): will NOT work with Java 6, but work with Java 7, 8.

PS:Oracle ended Java 6 updates in Feb 2013.

从上面的回复可以发现：

Spark社区也在讨论是否应该终止支持Java 6，经过这几天的讨论，社区决定从Spark1.5开始，不再支持Java 1.6！
　　1、Spark 1.4.x（~ Jun 2015）会在Java 6，7，8上面工作；
　　2、Spark 1.5+ (~ Sep 2015)只能在Java 7，8上面工作，不再支持Java 6！

Gregg Keizer，与2012年12月19日，在COMPUTERWORLD杂志上发布新闻《Oracle to stop patching Java 6 in February 2013》，表明Oracle宣布不再维护Java 6的更新，那么Java6发现的新bug Oracle公司也就不再会去修改。想了解详情请参考原文[Oracle to stop patching Java 6 in February 2013 |Computerworld http://dwz.cn/IZKvX]

参考资料：

ApacheHadoop Releases http://dwz.cn/IZFsS

Spark- ASF JIRA http://dwz.cn/IZXgP

Spark 1.5将不再支持Java 6 http://dwz.cn/Jl33Z

Hadoop 2.7.0发布：不适用于生产和不支持JDK1.6 http://dwz.cn/Jl3g5

JDK1.6与JDK1.7对比

Java 1.4到1.5的修改很大，在编译compile-time 方面提升很大，Java 6在运行时runtime智能上做了优化，Java 7的主要改进：模块化。我们分析一下Java 7的主要修改：

　　* Modularization 模块化– JSR 294 或者 Project Jigsaw

　　* JVM 对动态语言的支持

　　* 更多新的 I/O APIs 即将完成，包括真正的异步I/O 和最终的真实的文件系统 file system API – JSR 203

　　* 对XML本地语言支持. (可能的probable)

　　* Safe rethrow – 允许catch捕获语句让编译器更加聪明的知道基于什么情况下重新throw什么内容。