赵英超的博客

相互学习,共同进步

YARN中内存和CPU两种资源的调度和隔离实现详解

Hadoop Yarn的资源隔离是指为运行着不同任务的“Container”提供可独立使用的计算资源,以避免它们之间相互干扰。目前支持两种类型的资源隔离:CPU和内存,对于这两种类型的资源,Yarn使用了不同的资源隔离方案。对于CPU而言,它是一种“弹性”资源,使用量大小不会直接影响到应用程序的存...

2018-06-25 13:59:37

阅读数 259

评论数 0

swagger swagger-codegen 使用

前后端分离的时候,需要建立契约,Swagger可达到该目的(略)。建立Rest接口后,通过swagger-codegen项目可以自动生成对应的客户端代码(c++、php、java、js、node等等),关于swagger-codegen项目的使用,发现中文文档较少,追根述源后,发现其中相当一部分同...

2018-06-21 15:42:46

阅读数 828

评论数 1

Spark GraphX

1、GraphX介绍1.1 GraphX应用背景Spark GraphX是一个分布式图处理框架,它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口,极大的方便了对分布式图处理的需求。众所周知·,社交网络中人与人之间有很多关系链,例如Twitter、Facebook、微博和微信等,这些...

2018-06-21 15:03:05

阅读数 165

评论数 0

Bit-map压缩及使用

Bit-map空间压缩和快速排序去重1. Bit-map的基本思想  32位机器上,对于一个整型数,比如int a=1 在内存中占32bit位,这是为了方便计算机的运算。但是对于某些应用场景而言,这属于一种巨大的浪费,因为我们可以用对应的32bit位对应存储十进制的0-31个数,而这就是Bit-m...

2018-06-21 09:27:33

阅读数 81

评论数 0

spark graphx

在介绍完Spark GraphX的属性图模型、简单的属性展示操作后,本章节介绍更多有关Spark GraphX的常用图操作。在GraphX中,核心操作都是被优化过的,组合核心操作的定义在GraphOps中。由于Scala隐式转换,定义在GraphOps的操作可以在Graph的成员中获取。例如:我们...

2018-06-19 19:16:23

阅读数 154

评论数 0

janusgraph基本使用

TinkerPop’s Hadoop-Gremlin JanusGraph with TinkerPop’s Hadoop-Gremlin利用Hadoop-Gremlin批量导入json数据到JanusGraph中,并且比较IncrementalBulkLoader和OneTimeBulkLoad...

2018-06-13 14:03:57

阅读数 3157

评论数 0

Gremlin基本使用

Gremlin简介Gremlin是Apache TinkerPop 框架下的图遍历语言。Gremlin是一种函数式数据流语言,可以使得用户使用简洁的方式表述复杂的属性图(property graph)的遍历或查询。每个Gremlin遍历由一系列步骤(可能存在嵌套)组成,每一步都在数据流(data ...

2018-06-13 13:58:08

阅读数 1116

评论数 0

SpringData JdbcTemplate Jdbc使用简介

SpringData入门以及为什么学习SpringData写在最前:学习一项新的技术,一个新的框架,总是要基于某个问题去学习,而不能是为了学框架而学框架,这样不仅学习过程痛苦,学习成效也不高。俗话说,熟能生巧,大概说的是使用的多了就用起来就顺手了的意思,如果单纯是为了学习而学习,而没有去实践它,学...

2018-06-11 17:22:35

阅读数 251

评论数 0

spring boot Schedule 定时任务

我们在编写Spring Boot应用中经常会遇到这样的场景,比如:我需要定时地发送一些短信、邮件之类的操作,也可能会定时地检查和监控一些标志、参数等。创建定时任务在Spring Boot中编写定时任务是非常简单的事,下面通过实例介绍如何在Spring Boot中创建定时任务,实现每过5秒输出一下当...

2018-06-09 14:33:14

阅读数 104

评论数 0

spring swagger使用

http://www.jianshu.com/p/0465a2b837d2 swagger用于定义API文档。好处:前后端分离开发API文档非常明确测试的时候不需要再使用URL输入浏览器的方式来访问Controller传统的输入URL的测试方式对于post请求的传参比较麻烦(当然,可以使用post...

2018-06-09 14:26:58

阅读数 89

评论数 0

swagger基本使用

在spring-boot中使用以前总是看各种博客来配置,这次也不例外。百度了千篇一律却又各有细微的差别,甚至时间上、版本上各有不同。最终还是去看官方文档,终于发现了官方的sample。针对于各种option的操作完全在demo中了,所以clone照抄就可以用了。github sample源码配置1...

2018-06-08 17:46:09

阅读数 504

评论数 0

使用maven的Shade方式解决

java 依赖包冲突问题描述程序中同时使用了hadoop工具包与ElasticSearch工具导致jar包。程序报错:java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.directExecuto...

2018-06-08 11:26:33

阅读数 1655

评论数 0

webpack基本使用

如果你的代码不需要模块化,那么你不需要 webpack;如果你的代码需要模块化,那么你可能需要 webpack;如果你的代码里,JavaScript、图片、CSS、JSON 等等千奇百怪的文件都要模块化,那么你一定需要 webpack。为什么选择 webpackwebpack 官网 是这样定义 w...

2018-06-06 11:33:30

阅读数 843

评论数 0

Spark Streaming详解

Spark Streaming编程指南OverviewSpark Streaming属于Spark的核心api,它支持高吞吐量、支持容错的实时流数据处理。它可以接受来自Kafka, Flume, Twitter, ZeroMQ和TCP Socket的数据源,使用简单的api函数比如 map, re...

2018-06-05 15:17:27

阅读数 171

评论数 0

Spring Boot配置加载

Spring Boot程序默认从application.properties或者application.yaml读取配置,如何将配置信息外置,方便配置呢?查询官网,可以得到下面的几种方案:通过命令行指定SpringApplication会默认将命令行选项参数转换为配置信息例如,启动时命令参数指定:...

2018-06-01 16:27:30

阅读数 198

评论数 0

提示
确定要删除当前文章?
取消 删除