2017年03月_GE12

12月 10月 07月 06月 05月 04月 03月 02月 01月

原创 java.util.concurrent 之 CountDownLatch

CountDownLatch的一个非常典型的应用场景是：有一个任务想要往下执行，但必须要等到其他的任务执行完毕后才可以继续往下执行。假如我们这个想要继续往下执行的任务调用一个CountDownLatch对象的await()方法，其他的任务执行完自己的任务后调用同一个CountDownLatch对象上的countDown()方法，这个调用await()方法的任务将一直阻塞等待，直到这个CountDo

2017-03-29 13:35:31 1480

原创主内存与工作内存

java内存模型的主要目标是定义程序中各个变量的访问规则，即在虚拟机中将变量存储到内存和从内存中取出变量这样的底层细节。此处的变量（variable）与java编程中所说的变量略有区别，它包括了实例字段、静态字段和构成数组对象的元素，但是不包括局部变量与方法参数，因为后者是线程私有的，不会被共享，自然就不存在竞争问题。 java内存模型规定了所有的变量都存储在主内存中。每条线程还有自己的

2017-03-28 11:01:17 925

原创 volatile 关键字

就像大家更熟悉的const一样，volatile是一个类型修饰符（type specifier）。它是被设计用来修饰被不同线程访问和修改的变量。作用编辑volatile的作用是：作为指令关键字，确保本条指令不会因编译器的优化而省略，且要求每次直接读值.简单地说就是防止编译器对代码进行优化.比如如下程序：12

2017-03-28 10:31:52 472

翻译 (14)YARN Timeline Server

概述介绍当前状态时间轴结构部署配置运行时间线服务器通过命令行访问通用数据发布应用程序的具体数据时间线服务器REST API通用数据REST API概述介绍通过时间轴服务器在YARN中以通用方式存储和检索应用程序的当前和历史信息。它有两个责任：坚持应用程序特定信息收集和检索完全具体到应用程序或框架的信息。例如，Hadoop MapReduc

2017-03-22 13:10:29 3235

原创 2. FastDFS 在 CentOS 下安装部署

一、安装 libfastcommon 和 FastDFS1.下载安装 libfastcommon wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz解压 libfastcommon，命令：tar -zxvf V1.0.7.tar.gz编译，进

2017-03-20 14:50:57 609

原创 1.fastdfs 简介

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上

2017-03-20 11:04:54 721

原创 (13)Hadoop JobHistory

a）配置nodemanage的LogAggregation功能(yarn-site.xml) yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 864000 yarn.log-aggregation.retain-check-interva

2017-03-17 14:07:39 698

翻译 (12)ResourceManager高可用性

介绍建筑RM故障转移恢复以前的活跃RM的状态部署配置管理命令ResourceManager Web UI服务网页服务介绍本指南概述了YARN的ResourceManager的高可用性，以及如何配置和使用此功能的详细信息。ResourceManager（RM）负责跟踪集群中的资源，并调度应用程序（例如MapReduce作业）。在Hadoop 2.4之前，Resou

2017-03-15 11:08:03 4809

翻译 (11)HDFS高可用性使用Quorum Journal Manager

HDFS高可用性使用Quorum日记管理器HDFS高可用性使用Quorum日记管理器目的注意：使用Quorum Journal Manager或常规共享存储背景建筑硬件资源部署配置概述配置详细信息部署详细信息管理命令自动故障转移介绍组件部署ZooKeeper在你开始之前配置自动故障转移在ZooKeeper中初始化HA状态使用start-dfs.sh启动集群手动启

2017-03-15 11:01:45 817

原创 (10)MapReduce模型

在并行计算领域最著名的就是MPI模型，MPI是一种消息传递编程模型，在大规模科学计算领域已经成功应用了数年，而MapReduce则是一种近几年出现的相对较新的并行编程技术，但是MapReduce计算模型也是建立在数学和计算机科学基础上的，实践已经证明这种并行编程模型具有简单、高效的特点，最为重要的两个概念就是Map和Reduce，最基本的处理思想就是“分而治之，然后归约”。Hadoop会将

2017-03-14 14:24:30 699

原创 (9)hdfs 数据存储与切分

在Hadoop中数据的存储是由HDFS负责的，HDFS是Hadoop分布式计算的存储基石，Hadoop的分布式文件系统和其他分布式文件系统有很多类似的特质。那么HDFS相比于其他的文件系统有什么特征呢?简单总结有如下的基本特征：对于整个集群有单一的命名空间。数据一致性。适合一次写入多次读取的模型，客户端在文件没有被成功创建之前无法看到文件存在。文件会被分割成多个文件块，每个

2017-03-14 14:21:15 1495

原创 (8) hadoop 常见错误

java.io.IOException: There appears to be a gap in the edit log. We expected txid 1, but got txid 16.namenode进程中出现如下报错信息原因：namenode元数据被破坏，需要修复解决：恢复一下namenodehadoop namenode -recover

2017-03-14 11:10:33 679

翻译 4.ZooKeeper 3.0.0发行说明及版本升级

升级到3.0.0时的迁移说明你应该只需要阅读本节，如果你从旧版本的ZooKeeper升级到3.0.0版本，otw跳下来更改此版本中的少量更改导致非向后兼容的Zookeeper客户端用户代码和服务器实例数据。以下说明提供有关如何将代码和日期从版本2.2.1迁移到版本3.0.0的详细信息。注意：当向源库进行向后不兼容更改时，ZooKeeper会增加主版本号（major.minor.fi

2017-03-09 13:42:57 1497

翻译 2.zookeeper入门指南

原文：http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html下载要获取ZooKeeper 发行版，请从其中一个Apache下载镜像下载最新的稳定版本。独立模式在独立模式下设置ZooKeeper服务器非常简单。服务器包含在单个JAR文件中，因此安装包括创建配置。一旦你下载了一个稳定的ZooKeeper版

2017-03-08 16:43:44 641

翻译 1.zookeeper概述

ZooKeeper：分布式应用程序的分布式协调服务ZooKeeper是一种用于分布式应用程序的分布式开源协调服务。它暴露了一组简单的基元，分布式应用程序可以基于这些基元来实现用于同步，配置维护以及组和命名的更高级别的服务。它被设计为易于编程，并且使用在熟悉的文件系统的目录树结构之后样式化的数据模型。它在Java中运行，并且具有Java和C的绑定。协调服务是众所周知难以得到正确的。它们特

2017-03-08 16:38:35 729

原创 Spark -13：作业计划

概述Spark具有用于在计算之间调度资源的若干设施。首先，回想一下，如集群模式概述中所述，每个Spark应用程序（SparkContext的实例）运行一组独立的执行器进程。Spark运行的集群管理器提供用于跨应用程序调度的工具。其次，在每个Spark应用程序中，如果多个“作业”（Spark操作）由不同的线程提交，它们可能会同时运行。如果您的应用程序通过网络提供请求，这是很常见的。Spar

2017-03-08 15:35:48 766

原创 linux下多节点之间免密钥访问

第1步：hosts文件修改（可选）如果将来想采用ssh 主机名的方式来访问其余节点，请确保各个节点上的hosts文件下有对各个ip以及主机名的映射，可通过如下命令进行查看cat /etc/hosts

2017-03-06 13:54:44 936

原创 12.kafka Producer Example

生产者Producer类用于为特定主题和可选分区创建新消息。如果使用Java，您需要为Producer和支持类包括几个包：import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.Produ

2017-03-05 18:12:46 1994

原创 11.kafka 配置消息大小

Consumer Configs：fetch.message.max.bytes每个提取请求中为每个主题分区提取的消息字节数。要大于等于message.max.bytesProducer Configs：max.request.size请求的最大大小为字节。要小于 message.max.bytesBroker Configs：message.max.byt

2017-03-05 18:07:12 13451 2

原创 10. kafka SimpleConsumer Consumer

为什么使用SimpleConsumer？使用SimpleConsumer实现的主要原因是你想要更好地控制分区消耗比消费者组给你。例如，您想要：多次读取消息仅消耗进程中某个主题的分区的子集管理事务以确保邮件仅处理一次且仅处理一次使用SimpleConsumer的缺点SimpleConsumer需要在消费者组中不需要大量的工作：您必须跟踪应用程序中的偏移

2017-03-05 18:05:00 4427

原创 9.Kafka复制

Kafka复制高级设计副本展示位置初始展示位置在线增量添加代理离线经纪人数据复制相关工作同步复制写阅读故障场景跟随器故障领导失败异步复制开放式问题Kafka复制详细设计Kafka复制高级设计在Kafka中添加复制的目的是为了更强的耐久性和更高的可用性。我们希望保证任何成功发布的消息不会丢失，并且可以被消费，即使有服务器故障。这种故

2017-03-05 17:59:06 1406

原创八.Kafka Consumer和 offset提交

原文https://www.confluent.io/blog/tutorial-getting-started-with-the-new-apache-kafka-0-9-consumer-client/ When Kafka was originally created, it shipped with a Scala producer and consumer client. Over ti

2017-03-03 11:22:52 4199

原创七. kafka性能测试

生产者调优，主要可以利用kafka-producer-perf-test.sh(org.apache.kafka.tools.ProducerPerformance)。通过测试不同的配置来对比发送效率。使用方法例子：./kafka-producer-perf-test.sh --topic test --num-records 100000 --throughput 100

2017-03-02 14:44:00 5982 3

原创六. KafkaOffsetMonitor的安装和使用

Topicslive topic/consumer mapping cluster view 下载地址https://github.com/quantifind/KafkaOffsetMonitor/releases/download/v0.2.0/KafkaOffsetMonitor-assembly-0.2.0.jarRun withjava -cp

2017-03-02 10:25:51 1569

原创五.Kafka消息的时间戳

kafka在消息中增加了一个时间戳字段和时间戳类型。目前支持的时间戳类型有两种： CreateTime 和 LogAppendTime 前者表示producer创建这条消息的时间；后者表示broker接收到这条消息的时间(严格来说，是leader broker将这条消息写入到log的时间) 为什么要加入时间戳？引入时间戳主要解决3个问题： **日志保存(log retention)策略：**

2017-03-01 13:21:11 9476