- 博客(27)
- 资源 (14)
- 收藏
- 关注
转载 Hadoop2.X架构浅析
Hadoop2.X核心包括两个module: HDFS – Hadoop File System。 YARN – Yet Another Resource Negotiator 也称为MapReduce2.0,即MPv2其中HDFS是底层的存储系统。不仅Hadoop的底层存储可以使用HDFS,其他分布式计算系统也可以使用HDFS作为底层存储系统。HDFS与在Hadoop1.0中有一些大
2017-05-31 10:49:20 2968
转载 Hadoop-MapReduce编程思想浅析
MapReduce其实是两个分离的阶段:map和reduce。首先看一个简单的例子: 现需要计算1w篇文章中字母‘w’的数量。这些文章以键值对(key/value)的形式存储(表一):DocumentID(key)DocumentContent(Value)1“This is an article”//假设这篇文章中含有“w”字母5个2
2017-05-31 10:45:19 895
转载 Hadoop1.X架构浅析
一、Hadoop架构 任何一个程序都可以被分为两个逻辑部分:程序逻辑本身和它操作的数据。数据本身需要大量的存储空间,而基于这些数据的计算或操作会消耗cpu,内存和存储空间。 因此Hadoop作为一个开源的分布式框架,自然需要考虑的也是两个方面:如何实现数据的分布data distribution,以及计算的分布computation distribution。hadoop使用了mast
2017-05-31 10:34:34 617
转载 Java网络IO编程总结(BIO、NIO、AIO均含完整实例代码)
本文会从传统的BIO到NIO再到AIO自浅至深介绍,并附上完整的代码讲解。 下面代码中会使用这样一个例子:客户端发送一段算式的字符串到服务器,服务器计算后返回结果到客户端。 代码的所有说明,都直接作为注释,嵌入到代码中,看代码时就能更容易理解,代码中会用到一个计算结果的工具类,见文章代码部分。 相关的基础知识文章推荐: Linux 网络 I/
2017-05-26 17:45:58 680
原创 MAC OS安装tar.gz版Mysql(5.6/5.7略有差别)
在 Mac 系统上,,安装 MySQL Server 一般是用 DMG 包在图形化界面下按提示安装,这个就不在介绍。此外 MySQL 还提供了 Compressed TAR Archive 二进制包安装方式, 即免安装解压运行版,,相比 DMG 包,免安装版过程更为简洁, 纯命令行操作, 更符合程序员的风格。 一、mysql5.6.x及以下安装方式系统环境: OS X Yose
2017-05-26 15:12:01 9126 2
转载 Mysql主从复制、多主多从配置
目录:1. MySQL复制原理2. mysql一主多从3. mysql 双主4. mysql 读写分离5. mysql + keepalived高可用6. mysql 监控7. mysql 参数详解8. mysql 监控9. mysql replication 常见错误及处理方法 实验环境说明 :10.0.0.
2017-05-26 10:22:35 2071
转载 Jxl读/写Excel实例(设置Cell Format格式)
本篇文章主要讲的是jxl 操作Excel的三个简单的实例,一个是读取Excel表格数据,一个是 写一个新的Excel表格,最后是更新现有的Excel表格。在开始全面学习 jxl 之前,我们先看几个例子,让大家大概整体的了解一下jxl 是怎么操作Excel表的,以使之后更有兴趣,更好地学习jxl。 读Excel表格数据:
2017-05-25 11:28:08 7779
转载 Selenium2.0 WebDriver功能测试入门(Java版)
我也一直使用着原始的人工测试手段,随着内容的不断增多,测试起来就越发的繁杂,而且经常犯懒,这样就会忽略很多本该发现的问题,而且也容易出现旧的bug 反复出现的情况,这都是测试不规范造成的。要做好东西就要更加规范和严格,于是乎决定要学习一下 Selenium WebDriver,也就是原先的 Selenium v2 了,这方面整体的文章并不多,所以一边学着,自己一边整理吧。 对于
2017-05-25 11:15:55 2566
转载 自动化测试工具- selenium介绍
转自:http://www.cnblogs.com/TankXiao/p/5252754.htmlSelenium 是目前用的最广泛的Web UI 自动化测试框架。 本系列文章,将深入简出来讲解selenium 的用法文章的末尾处, 有整个系列的链接 selenium 的命名selenium 的意思是 硒 (有点QTP 杀手的意思)QTP mercury
2017-05-25 10:51:52 1629
转载 Dubbo与Zookeeper、SpringMVC整合和使用(负载均衡、容错)
互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,Dubbo是一个分布式服务框架,在这种情况下诞生的。现在核心业务抽取出来,作为独立的服务,使前端应用能更快速和稳定的响应。第一:介绍Dubbo背景 大规模服务化之前,应用可能只是通过RMI或Hessian等工具,简单的暴露和引用远程服务,
2017-05-24 17:51:06 405
转载 使用Apache common-net包进行FTP/SFTP操作
import org.apache.commons.net.ftp.FTPSClient;import org.apache.commons.net.io.CopyStreamEvent;import org.apache.commons.net.io.Util;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import
2017-05-24 17:39:11 11715 2
原创 Java浮点类型(Double/Float)运算精度问题
问题的提出:如果我们编译运行下面这个程序会看到什么?public class Test{ public static void main(String args[]){ System.out.println(0.05+0.01); System.out.println(1.0-0.42); System.out.println(4.0
2017-05-24 17:09:40 4327 1
转载 Java观察者模式与事件驱动模式实例比较
一、观察者模式所涉及的角色有: ● 抽象主题(Subject)角色:抽象主题角色把所有对观察者对象的引用保存在一个聚集(比如ArrayList对象)里,每个主题都可以有任何数量的观察者。抽象主题提供一个接口,可以增加和删除观察者对象,抽象主题角色又叫做抽象被观察者(Observable)角色。 ● 具体主题(ConcreteSubject)角色:将有关状态存入具体观察者对象;在具体
2017-05-24 16:15:21 4684 2
转载 Redux框架简介
React是个非常适合组件化开发的框架,可以说facebook重新定义了前端。但项目中实际使用下来,维护各组件的state是件比较头疼的事情。尤其页面交互比较复杂时,各种render,你都搞不清楚到底发生了什么,系统复杂到难以维护。还有一个问题就是React的非父子组件间的通信,如某些各组件都要用到的共享状态,没有一个统一的类似管理中心的地方,出了问题难以溯源到哪个组件改了这个state。Redu
2017-05-24 14:56:14 4190 2
转载 MQ消息中间件技术浅析
AMQP协议介绍AMQP,即Advanced Message Queuing Protocol,高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP在消息提供者和客户端的行为进行了强制规定,使得不同卖商之间真正实现了互操作能力。JMS是早期消息中间件进行标准化的一个尝
2017-05-24 14:41:38 2528
转载 Java对大文件MD5解密详解
MD5是常用的加密算法,也经常用于校验信息完整,如文件的完整性。用术语讲,MD5是一种消息摘要算法(Message Digest Algorithm)。另外还有一种常用的消息摘要算法SHA1。如果想了解这些的话,可以去百度百科:MD5、SHA1、消息摘要算法。 Java已经实现了MD5、SHA1算法。利用java.security.MessageDigest类就可以获取字符
2017-05-23 16:12:48 7758
转载 Java加密/解密算法快速入门下篇[包括MD5、BASE64、DES、RSA等]
上一篇博客中已经简要介绍了MD5、BASE64、DES、RSA等算法在Java中的具体应用。本篇对这些代码封装成一个工具类EncryptUtil.java,然后再补充一下Commons Codec对BASE64的扩展支持! . EncryptUtil.java工具类: 1. 使用commons-logging记录异常日志。 2. 提取常量字段、公共字段。 3
2017-05-23 15:50:46 769
转载 Java加密/解密算法快速入门上篇[包括MD5、BASE64、DES、RSA等]
Java工程师应该比较欣喜若狂的,不仅Sun公司的JDK提供了庞大的类库,而且还有众多的开源组织和个人不断地丰富着Java的生态系统。没错的,诸如MD5、BASE64、DES、RSA等经典加密解密算法,JDK都有提供专门的API来封装相关操作。程序员只需要了解算法的思想,以及学习如何使用API即可。当然,针对BASE64算法,JDK仅仅提供了非常标准的实现,在某些场景下无法满足应用需求。在最后一部
2017-05-23 15:37:46 1499
转载 POI SAX 使用事件驱动解析Excel(03/07)
本文主要是用于POI解析大文件Excel容易出现内存溢出的现象而提出解决方案,故此解决了大数据量的Excel文件解析的难度,在此拿出来贡献给大家,谢谢!里面用到的相关类请查看: http://www.cnblogs.com/wshsdlau/p/5643862.html1. Office2007与Office Open XML 在Office 2007之前,Off
2017-05-23 13:48:07 5443
转载 mysql的各种存储引擎使用及介绍
前言 在数据库中存的就是一张张有着千丝万缕关系的表,所以表设计的好坏,将直接影响着整个数据库。而在设计表的时候,我们都会关注一个问题,使用什么存储引擎。等一下,存储引擎?什么是存储引擎?什么是存储引擎? 关系数据库表是用于存储和组织信息的数据结构,可以将表理解为由行和列组成的表格,类似于Excel的电子表格的形式。有的表简单,有的表复杂,有的表根本不用来存储任何长期的数据,有的
2017-05-19 14:00:35 496
转载 mysql中的共享锁与排他锁
在 MySQL中的行级锁,表级锁,页级锁中介绍过,行级锁是MySQL中锁定粒度最细的一种锁,行级锁能大大减少数据库操作的冲突。行级锁分为共享锁和排他锁两种,本文将详细介绍共享锁及排他锁的概念、使用方式及注意事项等。共享锁(Share Lock)共享锁又称读锁,是读取操作创建的锁。其他用户可以并发读取数据,但任何事务都不能对数据进行修改(获取数据上的排他锁),直到已释放所有共享锁。
2017-05-19 13:55:00 691
转载 MySQL事务隔离级别详解
SQL标准定义了4类隔离级别,包括了一些具体规则,用来限定事务内外的哪些改变是可见的,哪些是不可见的。低级别的隔离级一般支持更高的并发处理,并拥有更低的系统开销。Read Uncommitted(读取未提交内容) 在该隔离级别,所有事务都可以看到其他未提交事务的执行结果。本隔离级别很少用于实际应用,因为它的性能也不比其他级别好多少。读取未提交的数据,也被称之为脏读(Dirt
2017-05-19 11:19:14 378
转载 IntelliJ IDEA使用Maven创建Java Web项目
1. Maven简介 相对于传统的项目,Maven 下管理和构建的项目真的非常好用和简单,所以这里也强调下,尽量使用此类工具进行项目构建, 它可以管理项目的整个生命周期。 可以通过其命令做所有相关的工作,其常用命令如下: - mvn compile - mvn test - mvn clean - mvn package - mv
2017-05-09 13:33:58 981
转载 IntelliJ IDEA创建JavaWeb工程及配置Tomcat部署
步骤:在WEB-INF 下创建classes 和 lib 两个文件夹右上角一个蓝色的按钮...Modules选项卡,Paths下的配置...输出路径选择classesDependencies选项卡下,"+"加号 jars or dire...那个按钮...选中WEB-IN
2017-05-09 09:40:53 22395 2
转载 MAC OS安装Maven
1、下载http://maven.apache.org/download.cgi2、把下载到的压缩包解压到相应目录,我使用的目录结构是/usr/local/maven/maven-3.2.33、配置4个环境变量。看看~/下是否有.bash_profile文件,如果没有就创建一个,环境变量要配置在这个文件中。创建文件:touch ~/.bash_profile打开文件:open
2017-05-04 14:56:35 464
转载 在Mac OS上安装IntelliJ IDEA
这篇文章旨在介绍如何在Mac系统上安装IntelliJ IDEA,至于IntelliJ IDEA的介绍和使用方法,大家另行查阅,本篇的文章不再详细阐述。 简短解说,IntelliJ IDEA是可以用来进行java web和android 开发的,当然还有开发特点,但是平时用的多的还是这两个方面。所以,既然要进行java web和android的开发,那么肯定是需要在Mac上安装java环境的
2017-05-04 11:03:40 68073 3
转载 MAC OS 配置JDK环境变量
大家在windows里面配置JDK环境变量很容易,但是如果要在mac里面配置JDK环境变量和windows里面有所不同,具体如下:第一:mac OS里面自带jdk,不过是1.6的版本,现在很多人使用的都是1.7甚至更高的版本,所需要替换,自己去 oracle的官网下载最新的对应的jdk版本,网址如下:http://www.oracle.com/technetwork/Java/javase
2017-05-03 17:44:53 4851
Hibernate_Session_Transaction
2013-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人