2018年06月_ZhaoYingChao88

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 YARN中内存和CPU两种资源的调度和隔离实现详解

Hadoop Yarn的资源隔离是指为运行着不同任务的“Container”提供可独立使用的计算资源，以避免它们之间相互干扰。目前支持两种类型的资源隔离：CPU和内存，对于这两种类型的资源，Yarn使用了不同的资源隔离方案。对于CPU而言，它是一种“弹性”资源，使用量大小不会直接影响到应用程序的存亡，因此CPU的资源隔离方案采用了Linux Kernel提供的轻量级资源隔离技术Cgroup；对于内...

2018-06-25 13:59:37 4438

原创 swagger swagger-codegen 使用

前后端分离的时候，需要建立契约，Swagger可达到该目的（略）。建立Rest接口后，通过swagger-codegen项目可以自动生成对应的客户端代码（c++、php、java、js、node等等），关于swagger-codegen项目的使用，发现中文文档较少，追根述源后，发现其中相当一部分同出一辙。亲自摸索使用后，记录一下步骤，利己利人。swagger-codegen项目地址: https:...

2018-06-21 15:42:46 4323 1

原创 Spark GraphX

1、GraphX介绍1.1 GraphX应用背景Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。众所周知·，社交网络中人与人之间有很多关系链，例如Twitter、Facebook、微博和微信等，这些都是大数据产生的地方都需要图计算，现在的图处理基本都是分布式的图处理，而并非单机处理。Spark Gr...

2018-06-21 15:03:05 2182

原创 Bit-map压缩及使用

Bit-map空间压缩和快速排序去重1. Bit-map的基本思想　　32位机器上，对于一个整型数，比如int a=1 在内存中占32bit位，这是为了方便计算机的运算。但是对于某些应用场景而言，这属于一种巨大的浪费，因为我们可以用对应的32bit位对应存储十进制的0-31个数，而这就是Bit-map的基本思想。Bit-map算法利用这种思想处理大量数据的排序、查询以及去重。　　Bitmap在用户...

2018-06-21 09:27:33 1302

原创 spark graphx

在介绍完Spark GraphX的属性图模型、简单的属性展示操作后，本章节介绍更多有关Spark GraphX的常用图操作。在GraphX中，核心操作都是被优化过的，组合核心操作的定义在GraphOps中。由于Scala隐式转换，定义在GraphOps的操作可以在Graph的成员中获取。例如：我们计算图中每个顶点的入度.(该方法是定义在GraphOps)val graph: Graph[(Stri...

2018-06-19 19:16:23 784

原创 janusgraph基本使用

TinkerPop’s Hadoop-Gremlin JanusGraph with TinkerPop’s Hadoop-Gremlin利用Hadoop-Gremlin批量导入json数据到JanusGraph中，并且比较IncrementalBulkLoader和OneTimeBulkLoader的不同。版本配置存储后端：hbase（本地）。索引后端：无。n-0.2.0-hadoop2版本前期...

2018-06-13 14:03:57 11372 1

原创 Gremlin基本使用

Gremlin简介Gremlin是Apache TinkerPop 框架下的图遍历语言。Gremlin是一种函数式数据流语言，可以使得用户使用简洁的方式表述复杂的属性图（property graph）的遍历或查询。每个Gremlin遍历由一系列步骤（可能存在嵌套）组成，每一步都在数据流（data stream）上执行一个原子操作。Gremlin包括三个基本的操作：map-step对数据流中的对象进...

2018-06-13 13:58:08 5093

转载 SpringData JdbcTemplate Jdbc使用简介

SpringData入门以及为什么学习SpringData写在最前：学习一项新的技术，一个新的框架，总是要基于某个问题去学习，而不能是为了学框架而学框架，这样不仅学习过程痛苦，学习成效也不高。俗话说，熟能生巧，大概说的是使用的多了就用起来就顺手了的意思，如果单纯是为了学习而学习，而没有去实践它，学了也会很快就忘记。所以，在这个入门，我会从最简单的jdbc，到使用Spring的JdbcTemplat...

2018-06-11 17:22:35 2208

原创 spring boot Schedule 定时任务

我们在编写Spring Boot应用中经常会遇到这样的场景，比如：我需要定时地发送一些短信、邮件之类的操作，也可能会定时地检查和监控一些标志、参数等。创建定时任务在Spring Boot中编写定时任务是非常简单的事，下面通过实例介绍如何在Spring Boot中创建定时任务，实现每过5秒输出一下当前时间。在Spring Boot的主类中加入@EnableScheduling注解，启用定时任务的配置...

2018-06-09 14:33:14 495

原创 spring swagger使用

http://www.jianshu.com/p/0465a2b837d2 swagger用于定义API文档。好处：前后端分离开发API文档非常明确测试的时候不需要再使用URL输入浏览器的方式来访问Controller传统的输入URL的测试方式对于post请求的传参比较麻烦（当然，可以使用postman这样的浏览器插件）spring-boot与swagger的集成简单的一逼1、项目结构和上一节一样...

2018-06-09 14:26:58 469

原创 swagger基本使用

在spring-boot中使用以前总是看各种博客来配置，这次也不例外。百度了千篇一律却又各有细微的差别，甚至时间上、版本上各有不同。最终还是去看官方文档，终于发现了官方的sample。针对于各种option的操作完全在demo中了，所以clone照抄就可以用了。github sample源码配置1.需要依赖两个包： <dependency> &l...

2018-06-08 17:46:09 2359

原创使用maven的Shade方式解决

java 依赖包冲突问题描述程序中同时使用了hadoop工具包与ElasticSearch工具导致jar包。程序报错：java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.directExecutor()Ljava/util/concurrent/Executor;内容如下：java.lang.No...

2018-06-08 11:26:33 15671 3

原创 webpack基本使用

如果你的代码不需要模块化，那么你不需要 webpack；如果你的代码需要模块化，那么你可能需要 webpack；如果你的代码里，JavaScript、图片、CSS、JSON 等等千奇百怪的文件都要模块化，那么你一定需要 webpack。为什么选择 webpackwebpack 官网是这样定义 webpack 的：webpack is a module bundler什么是 module？我们首先...

2018-06-06 11:33:30 4130

原创 Spark Streaming详解

Spark Streaming编程指南OverviewSpark Streaming属于Spark的核心api，它支持高吞吐量、支持容错的实时流数据处理。它可以接受来自Kafka, Flume, Twitter, ZeroMQ和TCP Socket的数据源，使用简单的api函数比如 map, reduce, join, window等操作，还可以直接使用内置的机器学习算法、图算法包来处理数据。它...

2018-06-05 15:17:27 1598

原创 Spring Boot配置加载

Spring Boot程序默认从application.properties或者application.yaml读取配置，如何将配置信息外置，方便配置呢？查询官网，可以得到下面的几种方案:通过命令行指定SpringApplication会默认将命令行选项参数转换为配置信息例如，启动时命令参数指定：java -jar myproject.jar --server.port = 9000从命令行指定配...

2018-06-01 16:27:30 667