charming的专栏

做技术型工作就像长跑一样, 需要坚持不懈的做,往往到最后才能体现出其意义;而过程确常常伴随着思考、纠结、猜疑,绝对不能走捷径...

Spring容器扩展机制及实现原理

一、利用后置处理器扩展Spring容器 Bean后置处理器(BeanPostProcessor 接口) 如果希望在Spring容器完成实例化、配置和初始化bean之后实现某些自定义逻辑, 则可以实现一个或多个 BeanPostProcessor 接口。BeanPostProcessor中有两个...

2018-12-26 15:46:39

阅读数:21

评论数:0

Spring注解之组件注册

@Configuration //告诉Spring这是一个配置类,配置类==配置文件 @Bean 给容器中注册一个Bean;类型为返回值的类型,id默认是方法名,可通过该注解指定 @Bean public Person person(){ return new Per...

2018-12-19 16:08:45

阅读数:39

评论数:0

Spring注解@EnableWebMvc使用坑点解析

@EnableWebMvc是使用Java 注解快捷配置Spring Webmvc的一个注解。在使用该注解后配置一个继承于WebMvcConfigurerAdapter的配置类即可配置好Spring Webmvc。 springboot在application文件中的配置失效 在spring b...

2018-11-30 14:05:02

阅读数:117

评论数:0

Spark DStream数据源之Kafka

Kafka介绍 Kafka是一种高吞吐量的分布式发布订阅消息系统,用户通过Kafka系统卡伊发布大量的消息,同时也能实时订阅消费消息 Kafka可以同时满足在线实时处理和批量离线处理 在大公司生态系统中,可以把Kafka作为数据交换枢纽,不同类型的分布式系统(关系数据库、NoSQL数据库、流...

2018-10-24 17:07:48

阅读数:83

评论数:0

Docker下极速体验Kafka

快速体验Kafka Kafka是一种高吞吐量的分布式发布订阅消息系统,从本章开始我们先极速体验,再实战docker下搭建kafka环境,最后开发一个java web应用来体验kafka服务。 我们一起用最快的速度体验kafka的消息发布订阅功能: 新建一个docker-compose.yml...

2018-09-01 10:52:16

阅读数:301

评论数:0

Spark Streaming 基本输入流

文件流 在spark/mycode/streaming/logfile目录下新建两个日志文件log1.txt和log2.txt,随便输入内容。比如,在log1.txt中输入以下内容: I love Hadoop I love Spark Spark is fast 进入spark-she...

2018-08-30 15:31:12

阅读数:129

评论数:0

Netty 长连接服务

推送服务 还记得一年半前,做的一个项目需要用到 Android 推送服务。和 iOS 不同,Android 生态中没有统一的推送服务。Google 虽然有 Google Cloud Messaging ,但是连国外都没统一,更别说国内了,直接被墙。 所以之前在 Android 上做推送大部分只...

2018-08-21 15:58:15

阅读数:87

评论数:0

Netty 实战入门详解

Netty 目前是一个被广泛使用的网络通信框架,例如阿里开源的 Dubbo 以及分布式的搜索引擎 Elasticsearch底层通讯都是基于Netty实现。它是 Java 网络的首选框架,作为一名称职的程序员每个人都应该了解和掌握它。即使工作中你没有直接使用 Netty,它也会为你的工作带来积极的...

2018-08-03 09:10:20

阅读数:308

评论数:0

Spark Streaming基础简介

批量计算和流计算 首先什么是静态数据和流数据?很多企业为了支持决策分析而构建的数据仓库系统,其中存放的大量历史数据就是静态数据。而流数据即数据以大量、快速、时变的流形式持续到达。 对于静态数据和流数据的处理,对应着两种截然不同的计算模式:批量计算和流计算 批量处理:充裕时间处理静态数据,如...

2018-07-30 17:42:44

阅读数:156

评论数:0

Android 通过 TensorFlow 训练模型识别手写数字

随着机器学习的发展,目前已经涌现出很多不错的学习框架,其中 Google 推出的 Tensorflow 是最流行的可以说没有之一,并且越来越多的机器学习成果应用到移动端,例如人脸检测、语音识别的 App。本场 Chat 将用最简单的方式,利用 Tensorflow 实现手写数字识别,并将 Tens...

2018-07-09 10:12:16

阅读数:102

评论数:0

Spark SQL入门基础

Spark SQL简介 从Shark说起 Shark即hive on Spark,为了实现与Hive兼容,Shark在HiveQL方面重用了Hive中HiveQL的解析、逻辑执行计划、翻译执行计划优化等逻辑,可以近似认为将物理执行计划从MapReduce作业替换成了Spark作业,通过Hi...

2018-06-27 18:05:34

阅读数:299

评论数:0

RDD与共享变量

RDD和共享变量是Spark中的两个重要抽象。 RDD 弹性分布式数据集, 是分布式内存的一个抽象概念,RDD提供了一种高度受限的共享内存模型,即RDD是只读的记录分区的集合,只能通过在其他RDD执行确定的转换操作(如map、join和group by)而创建,然而这些限制使得实现容错的开...

2018-06-15 17:45:55

阅读数:389

评论数:0

Android自动化测试框架Robotium

目前用于Android的测试框架已经有很多,比如:Monkey、Appium和Robotium等。Monkey这是大家比较熟悉的,Android自带的系统工具。Monkey通过向系统发送伪随机的用户事件流(如按键输入、触摸屏输入、手势输入等),实现对正在开发的应用程序进行压力测试,是用于测试软件的...

2018-05-22 11:35:57

阅读数:960

评论数:0

SpringBoot之@EnableAutoConfiguration注解

首先Spring Boot项目中都会如下启动类: @SpringBootApplication public class Application { public static void main(String[] args) { Sprin...

2018-05-07 11:08:08

阅读数:10812

评论数:1

Spark 运行第一个Scala程序WordCount

安装 首先去官网下载Spark。注意Spark和Hadoop之间版本对应关系,我自己装的Hadoop 2.7.5版本,按照下面方式下载即可。 下载完成后,解压安装包至路径/usr/local tar -zxf ./spark-2.3.0-bin-hadoop2.7.tgz -C /usr...

2018-04-13 10:37:28

阅读数:2869

评论数:0

Spark基本架构及运行原理

Spark软件栈 Spark Core: 包含Spark的基本功能,包含任务调度,内存管理,容错机制等,内部定义了RDDs(弹性分布式数据集),提供了很多APIs来创建和操作这些RDDs。为其他组件提供底层的服务。 Spark SQL: Spark处理结构化数据的库,就像Hiv...

2018-04-12 13:20:39

阅读数:3425

评论数:1

Hadoop之WordCount实战详解

WorldCount可以说是MapReduce中的helloworld了,单词计数主要完成的功能是:统计一系列文本文件中每个单词出现的次数,通过完成这个简单程序让读者摸清 MapReduce 程序的基本结构。 特别是对于每一个阶段的函数执行所产生的键值对。这里对MapReduce过程原理不过多说明...

2018-04-04 16:26:00

阅读数:555

评论数:0

最大连续子数列和(在线处理算法)

问题描述 最大连续子数列和一道很经典的算法问题,给定一个数列,其中可能有正数也可能有负数,我们的任务是找出其中连续的一个子数列(不允许空序列),使它们的和尽可能大。我们一起用多种方式,逐步优化解决这个问题。 暴力方法 求出所有可能连续子列的和,时间复杂度O(N^3) int Max...

2018-03-24 16:52:02

阅读数:1139

评论数:0

SpringBoot整合Elasticsearch并实现CRUD操作

配置准备 在build.gradle文件中添加如下依赖: compile "org.elasticsearch.client:transport:5.5.2" compile "org.elasticsearch:elast...

2018-03-09 15:26:44

阅读数:3583

评论数:0

Elasticsearch 重要的查询

一、初级查询 首先我们的操作都是针对这11条数据。book索引,novel type的数据如下: 除特别说明,以下查询都是以下面的地址为url。 http://192.168.124.128:9200/book/_search 1. 简单查询 http://192.168...

2018-02-06 10:57:09

阅读数:2571

评论数:0

提示
确定要删除当前文章?
取消 删除