- 博客(51)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 MapReduce中Combiner的作用和用法
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/sl1992/article/details/53980826MapReduce中Combiner的作用和用法①每一个map可能会产生大量的输出，Combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。 ②Combiner最基本是实现本地key的归并，...
2018-11-07 13:46:57
2305
转载 MapReduce使用示例大全
版权声明：本文为博主原创文章，请尊重劳动成果，觉得不错就在文章下方顶一下呗，转载请标明原地址。 https://blog.csdn.net/m0_37739193/article/details/76053636MapReduce功能实现系列：MapReduce功能实现一---Hbase和Hdfs之间数据相互转换MapReduce功能实现二---排序MapReduce功能实现三---...
2018-11-07 11:22:09
2292
转载 MapReduce详解
1.1 MapReduce是什么 Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词，一是软件框架，二是并行处理，三是可靠且容错，四是大规模集群，五是海量数据集。 1.2 MapReduce做什么...
2018-11-06 10:34:41
298
转载 Presto是什么
presto是什么是Facebook开源的，完全基于内存的并⾏计算，分布式SQL交互式查询引擎是一种Massively parallel processing (MPP)架构，多个节点管道式执⾏⽀持任意数据源（通过扩展式Connector组件），数据规模GB~PB级使用的技术，如向量计算，动态编译执⾏计划，优化的ORC和Parquet Reader等presto不太支持存储过程...
2018-10-30 15:38:24
1316
转载 Integrate Presto with HBase
[from]http://labs.gree.jp/blog/2014/12/12838/ PhoenixIn GREE, we have a small HBase cluster, which holds data and metrics for OLAP. When we introduced Presto, we started to look for a way to int...
2018-10-30 15:09:47
1214
转载 Shuffle过程介绍
摘要：腾讯分布式数据仓库基于开源软件Hadoop和Hive进行构建,TDW计算引擎包括两部分：MapReduce和Spark，两者内部都包含了一个重要的过程—Shuffle。本文对Shuffle过程进行解析，并对两个计算引擎的Shuffle过程进行比较。腾讯分布式数据仓库（Tencent distributed Data Warehouse, 简称TDW）基于开源软件Hadoop和Hive进行...
2018-10-30 11:48:53
353
转载 基于TensorFlow的机器学习速成课程25讲视频全集（23-25讲）
基于TensorFlow的机器学习速成课程25讲视频全集（23-25讲）在这篇文章中：课程目录 第二十三讲：癌症预测 第二十四讲：文学 第二十五讲：应用准则【导读】前些日子，大家都知道，Google 上线了基于 TensorFlow 的机器学习速成课程，它包含 40 多项练习、25 节课程以及 15 个小时的紧凑学习内容。基于TensorFlow的机器学习速成课程25讲视频...
2018-10-12 13:41:02
206
转载 zookeeper使用场景
一直对zookeeper的应用和原理比较迷糊，今天看一篇文章，讲得很通透，分享如下： 场景一有这样一个场景：系统中有大约100w的用户，每个用户平 均有3个邮箱账号，每隔5分钟，每个邮箱账需要收取100封邮件，最多3亿份邮件需要下载到服务器中(不含附件和正文)。用20台机器划分计算的压力，从 多个不同的网路出口进行访问外网，计算的压力得到缓解，那么每台机器的计算压力也不会很大了。...
2018-09-30 11:35:31
851
转载 hadoop对于压缩文件的支持
hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的，hadoop能够自动为我们 将压缩的文件解压，而不用我们去关心。 如果我们压缩的文件有相应压缩格式的扩展名（比如lzo，gz，bzip2等），hadoop就会根据扩展名去选择解码器解压。hadoop对每个压缩格式的支持,详细见下表： 压缩格式 工具 算法 文件扩展名 多文件...
2018-09-29 17:47:39
434
转载 用人话解释机器学习中的Logistic Regression（逻辑回归）
转载请注明出处：http://www.codelast.com/友情提示：如果觉得页面中的公式显示太小，可以放大页面查看（不会失真）。Logistic Regression（或Logit Regression），即逻辑回归，简记为LR，是机器学习领域的一种极为常用的算法／方法／模型。你能从网上搜到十万篇讲述Logistic Regression的文章，也不多我这一篇，但是，就像我写过的最优...
2018-09-28 10:06:11
327
转载 初识HDFS（10分钟了解HDFS、NameNode和DataNode）
首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默认为三个），以此来实现多机器上的多用户分享文件和存储空间。HDFS特点： ① 保存多个副本，...
2018-09-27 19:55:52
707
转载 canal实战（一）：canal连接kafka实现实时同步mysql数据
版权声明：本博客所有文章均为原创，如有转载，请注明原文地址，谢谢！----桃花惜春风 https://blog.csdn.net/xiaoyu_BD/article/details/82261856前面已经介绍过了canal-kafka的应用。canal-kafka是把kafka作为客户端，嵌入到canal中，并且在canal基础上对源码进行了修改，以达到特定的实现canal到kafka...
2018-09-26 17:16:43
5379
转载 搭建： canal部署与实例运行
1、准备：github:https://github.com/alibaba/canal里面有包括canal的文档，server端 client端的 例子 源码包等等。2、canal概述：canal是应阿里巴巴存在杭州和美国的双机房部署，存在跨机房同步的业务需求而提出的。早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主...
2018-09-26 17:03:37
1284
转载 Hadoop之为何不使用RAID？
Hadoop之为何不使用RAID？一、引言：在一次和同事的讨论中遇到一个这样的问题：有一个hadoop集群，在hbase的put数据出现瓶颈，他们想要把datanode上的磁盘做成RAID 0(比如10块磁盘做成一个RAID 0)，我当时就说这样的做法不太好，但是没有给出充足的理由不好反驳，只是说官方建议每块磁盘做成单独的RAID 0.今天有机会看到《Hadoop 指南》上正好有一块写到had...
2018-09-20 20:03:23
904
转载 SpringMVC重要注解（三）@RequestParam
为了验证文件绑定我们需要先做以下工作：把commons-fileupload-1.3.1.jar和commons-io-2.2.jar两个jar包添加到我们项目。配置我们项目中的spring-servlet.xml文件使之支持文件上传，内容如下：<!-- 支持上传文件...
2018-08-15 14:31:43
301
转载 SpringMVC重要注解（二）@ControllerAdvice
@ControllerAdvice，是Spring3.2提供的新注解，从名字上可以看出大体意思是控制器增强。让我们先看看@ControllerAdvice的实现：package org.springframework.web.bind.annotation; @Target(ElementT...
2018-08-15 13:52:51
384
转载 SpringMVC重要注解（一）@ExceptionHandler和@ResponseStatus
无论是普通的WEB项目，还是用SpringMVC实现的restful服务，都曾经历过下面两个问题：@PostMapping(path = "/selectByAcctcode")public MerAccountQueryResponse selectByAcctcode(@V...
2018-08-15 09:43:55
950
转载 Spring中获取request的几种方法，及其线程安全性分析
前言本文将介绍在Spring MVC开发的web系统中，获取request对象的几种方法，并讨论其线程安全性。原创不易，如果觉得文章对你有帮助，欢迎点赞、评论。文章有疏漏之处，欢迎批评指正。欢迎转载，转载请注明原文链接：http://www.cnblogs.com/kismetv/p/8757260.html目录概述如何测试线程安全性方法1：Controller中加参数...
2018-08-14 16:37:11
148
转载 ThreadLocal原理解析（2）：ThreadLocalMap源码解析
转载请注明出处：【huachao1001的专栏：http://blog.csdn.net/huachao1001】跟上一篇文章【ThreadLocal原理解析（1）：数据存取】一样，本文是源码解析是基于JDK 1.7。在上一篇文章【ThreadLocal原理解析（1）：数据存取】中，我们介绍了ThreadLocal读取数据的过程及原理。我们知道，ThreadLocal将变量的各个副本值保存...
2018-08-14 11:38:57
149
转载 ThreadLocal原理解析（1）：数据存取
转载请注明出处：【huachao1001的专栏：http://blog.csdn.net/huachao1001】本文是源码解析是基于JDK 1.7注意：Android内使用的ThreadLocal跟JDK内部的ThreadLocal具体实现有区别。但是他们所做的功能是一致的，只是Android针对ThreadLocal做了优化。但这不影响我们学习ThreadLocal的实现思想。...
2018-08-14 11:32:44
148
转载 jsonp详解
json相信大家都用的多，jsonp我就一直没有机会用到，但也经常看到，只知道是“用来跨域的”，一直不知道具体是个什么东西。今天总算搞明白了。下面一步步来搞清楚jsonp是个什么玩意。同源策略首先基于安全的原因，浏览器是存在同源策略这个机制的，同源策略阻止从一个源加载的文档或脚本获取或设置另一个源加载的文档的属性。看起来不知道什么意思，实践一下就知道了。1.随便建两个网页一个端口是...
2018-08-13 13:59:31
507
转载 Tomcat源码分析 -- Tomcat整体架构
本章结构如下：前言 Tomcat顶层结构 Server Service Connector Container Tomncat启动流程一、前言一般而言，对于一个复杂的系统，直接扎进去看源码会是很难受的，会浪费大量的时间和脑细胞，却得不到理想的效果。这个时候，策略很重要，应该明白，越是复杂的东西，越会有良好的逻辑和层次，否则开发者自己估计过段时间怕也搞不清了。tomca...
2018-08-13 11:35:37
137
转载 tomcat服务器解析系列文章
https://blog.csdn.net/yanlinwang/article/category/1398223
2018-08-13 11:23:07
102
转载 深度解读Tomcat中的NIO模型
一、I/O复用模型解读Tomcat的NIO是基于I/O复用来实现的。对这点一定要清楚，不然我们的讨论就不在一个逻辑线上。下面这张图学习过I/O模型知识的一般都见过，出自《UNIX网络编程》，I/O模型一共有阻塞式I/O，非阻塞式I/O，I/O复用(select/poll/epoll)，信号驱动式I/O和异步I/O。这篇文章讲的是I/O复用。 IO复用.png这里先来说下用户态...
2018-08-10 16:29:07
202
转载 Jstack线程状态BLOCKED/TIMED_WAITING/WAITING解释
一、线程5种状态 新建状态（New） 新创建了一个线程对象。 就绪状态（Runnable） 线程对象创建后，其他线程调用了该对象的start()方法。该状态的线程位于可运行线程池中，变得可运行，等待获取CPU的使用权。 运行状态（Running） 就绪状态的线程获取了CPU，执行程序代码。 阻塞状态（Blocked） 阻塞状态是线程因为某种原因放弃CPU使用权，...
2018-08-08 15:11:27
1188
转载 RunTime.getRunTime().addShutdownHook 添加钩子
看源码看到， Runtime.getRuntime().addShutdownHook(shutdownHook);google了一下它的含义：在jvm中增加一个关闭的钩子，当jvm关闭的时候，会执行系统中已经设置的所有通过方法addShutdownHook添加的钩子，当系统执行完这些钩子后，jvm才会关闭。所以这些钩子可以在jvm关闭的时候进行内存清理、对象销毁等操作。 在了解关闭钩子...
2018-08-07 16:45:57
637
转载 ServiceLoader原理解析
最近在公司的项目里看到了ServiceLoader这个类，就好奇地去了解了一下。我们都知道，根据一个类去找它的父类或者接口那很简单。毕竟类加载的时候，相关信息都加载进去了。但反过来就不简单了，那就是根据接口去找所有实现类。这个类主要作用就是加载某个接口的实现类。类似的功能，我以前用注解的形式实现过。就是扫描包，然后根据注解信息判断是否是某个类的子类，然后进行加载。但这显然是个不大好的方法，...
2018-08-06 15:21:30
192
转载 G1 垃圾收集器入门
G1 垃圾收集器入门概览目的这个教程覆盖了如何使用G1垃圾收集器和它是怎样被Hotspot JVM使用的，你会学到G1收集器内部是如何工作的，使用G1时的一些关键命令行开关和记录它的操作的一些选项。完成耗时大约1小时介绍这个OBE(Oracle By Example)覆盖了Java里的Java虚拟机G1垃圾回收的基本概念，在OBE的第一部分， 在介绍垃圾收集器和性能时...
2018-08-03 15:10:08
276
原创 Skywalking与Zipkin源码解读
SkyWalking源码解读：http://www.iocoder.cn/categories/SkyWalking/Zipkin源码解读：http://www.iocoder.cn/categories/Zipkin/
2018-06-14 14:53:10
1635
转载 通过使用Byte Buddy，便捷地创建Java Agent
Java agent是在另外一个Java应用（“目标”应用）启动之前要执行的Java程序，这样agent就有机会修改目标应用或者应用所运行的环境。在本文中，我们将会从基础内容开始，逐渐增强其功能，借助字节码操作工具Byte Buddy，使其成为高级的agent实现。在最基本的用例中，Java agent会用来设置应用属性或者配置特定的环境状态，agent能够作为可重用和可插入的组件。如下的样例描述...
2018-06-13 20:03:00
2459
转载 JVM源码分析之javaagent原理完全解读
摘要： 前言 本系列文章都是基于Hotspot/JDK源码，从源码角度来分析我们常见的JVM参数，Java概念以及对应的实现原理及玩法等，希望从根本上来理清Java知识点，我们会不定期地分享这个系列的文章，这些文章可能源于最近碰到的问题，也可能是同学们的提问，甚至有可能是我们突然想到的话题等，有些东西我们现在可能也不一定清楚，但是我们非常愿意花时间去了解清楚并分享给大家。 ...
2018-05-31 20:06:12
370
转载 Instrumentation 新功能
Instrumentation 简介利用 Java 代码，即 java.lang.instrument 做动态 Instrumentation 是 Java SE 5 的新特性，它把 Java 的 instrument 功能从本地代码中解放出来，使之可以用 Java 代码的方式解决问题。使用 Instr...
2018-05-31 20:02:59
215
转载 Bootstrap 模态框（Modal）插件数据传值
模态框具体代码如下：[html] view plain copy<!-- 模态框（Modal） --> <div class="modal fade" id="update" tabindex="-1" role="dialog" aria-labelledby="myModalLabel" aria-hidden="true">
2018-05-16 14:55:56
1624
3
转载 详解RDMA(远程直接内存访问)架构原理
面对高性能计算、大数据分析和浪涌型IO高并发、低时延应用，现有TCP/IP软硬件架构和应用高CPU消耗的技术特征根本不能满足应用的需求。这要有体现在 处理延时过大，数十微秒；多次内存拷贝、中断处理，上下文切换、复杂的TCP/IP协议处理、网络延时过大、存储转发模式和丢包导致额外延时 。接下来我们继续讨论 RDMA技术、原理和优势 ，看完文章你就会发现为什么RDMA可以更好的解决这一系列问题。RDM...
2018-05-15 09:55:42
6925
转载 分布式调用跟踪与监控实战
云栖社区 2017-05-04 12:09更多深度文章，请关注云计算频道：https://yq.aliyun.com/cloud分布式调用系统的现状当前，随着互联网架构的扩张，分布式系统变得日趋复杂，越来越多的组件开始走向分布式化，如微服务、消息收发、分布式数据库、分布式缓存、分布式对象存储、跨域调用，这些组件共同构成了繁杂的分布式网络。如上图右侧所示，当应用A发出某个请求时，其背后可能有数十个甚...
2018-05-08 10:10:32
504
转载 最全面的缓存架构设计（全是干货）
最全面的缓存架构设计（全是干货）程序员的日常那些事 2018-05-07 17:53:401：缓存技术和框架的重要性互联网的一些高并发，高性能的项目和系统中，缓存技术是起着功不可没的作用。缓存不仅仅是key-value的简单存取，它在具体的业务场景中，还是很复杂的，需要很强的架构设计能力。我曾经就遇到过因为缓存架构设计不到位，导致了系统崩溃的案例。2：缓存的技术方案分类1）是做实时性比较高的那块数...
2018-05-08 08:53:27
23246
4
转载 spring+springmvc+mybatis整合详细步骤
一：简介Java程序很大一部分要操作数据库，为了提高性能操作数据库的时候，有不得不使用数据库连接池。数据库连接池有很多选择，c3p0、dhcp、proxool等，druid作为一名后起之秀，凭借其出色的性能，也逐渐印入了大家的眼帘。企业中接触到的项目几乎都是在使用druid作为数据源Druid 提供了很多配置参数：配置缺省值说明name 配置这个属性的意义在于，如果存在多个数据源，监控的时候可以通...
2018-04-27 16:45:47
1028
转载 理解Spring MVC中的异步处理请求（下）
理解Spring MVC中的异步处理请求（下）前篇博客介绍完异步处理请求的第一种方式，下面介绍第二种——一边异步处理请求一边生成HTTP响应。 Spring MVC代码示例一边异步处理请求一边生成HTTP响应的方式为将一个HTTP响应分割成多个事件返回，这种方式是基于HTTP/1.1的分块传输编码（Chunked transfer encoding）。package com.example.com...
2018-04-20 18:00:09
659
原创 Eclipse开发中sublime text编辑JSP文件
工欲善其事必先利其器 在用eclipse开发带有页面的后端程序时，自带的编辑器在编辑JSP页面时，功能较弱（主要是代码自动完成、代码格式化等），为了追求开发的效率，想着有没有其他方法提升开发效率（在写后台管理页面类程序时经常会使用到bootstrap，jquery等前端组件，对于我这样对前台组件只知道大概的人来说，都要敲代码实在是太痛苦了）。vscode 因为最近在玩go、NSIS的时...
2018-04-19 17:25:17
3241
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人