Mr3-Water-CSDN博客

原创 maven-插件，打包包含依赖jar的项目

昨天打包jar扔到hadoop执行MR任务的时候报了一个错误，HBaseConfiguration类没有找到，打开jar看了一下，确实是没有将项目所需的依赖jar包打包进来。后面到网上找了一些插件，打包后都是有问题的， maven maven-assembly-plugin这个插件差不多是可以解决我的问题了，但是还是出现了一些小bug，详情可以到网上找找。后来看了一本书的介绍，利用 mave

2017-03-15 09:20:06 1650

转载 [elastic search](2-1)深入搜索之结构化搜索

前言在基础入门中涵盖了基本工具并对它们有足够详细的描述，这让我们能够开始用 Elasticsearch 搜索数据。用不了多长时间，就会发现我们想要的更多：希望查询匹配更灵活，排名结果更精确，不同问题域下搜索更具体。想要进阶，只知道如何使用 match 查询是不够的，我们需要理解数据以及如何能够搜索到它们。本章会解释如何索引和查询我们的数据让我们能利用词的相似度（word proximity）、

2017-02-17 11:37:38 684

原创如何统计分表（按日期分表）的总和数据

今天遇到一个爬虫业务，爬虫每天会定期爬取百度的数据，然后放到一个分表里面，每天爬取到的数据大概有3~4百万的级别。分表的后缀名就是当天的日期，比如table_name_20170215,table_name_20170216 其中有一个功能，需要我每隔30s去查询爬取数据的总数，原本是极为简单的操作，直接调用count函数统计一下数据就行了，但是我们的数据分布到多张表里面这个时候就有点蛋疼

2017-02-15 18:09:35 4682 2

原创 (架构设计)观察者模式+redis队列实现不同项目之间数据的交互

一，简介最近做一个项目，主要功能是根据一些关键词去百度爬取一些数据，如pv，uv等等有价值的数据，或者对应的URL等百度排名。我们小组主要负责的是前端的功能，此前端非WEB前端，我们主要将用户导入的数据进行封转，然后转换为protobuf的传输格式对象，最后保存到redis的队列中。而另一个小组（由技术总监那边负责的）则是负责爬虫的业务，他会定时扫描redis队列的数据进行数据的抓取

2017-02-14 15:19:25 1638

原创 java如何读取1千万级别的数据

如果数据很庞大的情况，估计没有人会直接使用select * from table的SQL语句，这样的操作别说数据库的操作很慢了，在网络IO传输也是一个很大的问题，把一千万的数据读取出来在网络进行传输，这样性能消耗也会有瓶颈。所以，读取大批量的数据一般都是采用分批次的读取方式。（一）通过测试，一万条数据一次性读取出来所花费的时间要比分十次，每次读1千数据的速度要慢很多。从上面的两张

2017-02-13 13:57:32 12761

原创 spring-boot整合redis 总结

spring-boot整合redis 总结项目整合redis，如何实现最少写配置代码，从而实现redis客户端实例的注入。Spring提供了一些注解来帮助开发人员减少配置文件的编写。 1，创建RedisConfig类，使用@Configuration 和 @bean来管理 redis的工具类@Configurationpublic class RedisConfig {@Autowired

2017-02-06 14:44:20 4718

原创使用maven，实现多环境可移植构建

使用maven，实现程序在不同环境的切换前言：在开发中我们会遇到这样的情况，开发环境是对应的数据库的地址是A，但是部署到测试环境的时候是B，真正放到线上的时候是C，运行的环境一旦切换就要修改配置的参数，这样会造成开发不必要的麻烦。所以，一般会针对每一个环境写一套配置参数，在构建项目的时候根据对应的环境来引入配置文件。使用maven提供的功能，filter，profiles这两个功能来解决

2017-02-06 14:02:21 546

转载很全的mysql处理重复问题（转）

有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。本章节我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据。一、防止表中出现重复数据你可以在MySQL数据表中设置指定的字段为 PRIMARY KEY（主键）或者 UNIQUE（唯一）索引来保证数据的唯一性。让我们尝试一个实例：下表中无索引及主键，

2017-02-03 10:42:43 231

转载 SpringMVC中使用Jcaptcha实现校验码验证(转载)

本文将使用Jcaptcha实现校验码验证，并演示在Spring/SpringMVC环境下的使用方法。maven依赖<dependency> <groupId>com.octo.captcha</groupId> <artifactId>jcaptcha-all</artifactId> <version>1.0-RC6</version> <exclusions>

2017-01-26 09:15:24 967

原创 org.apache.ibatis.binding.BindingException: Invalid bound statement (not found)新的异常解决方案

昨天用spring mvc整合mybatis的时候，老是出现这个错误，后面知道什么原因了，就是实用idea编译项目的时候没有将 xml 文件编译输出到classes目录下面。所以自然是扫描不到绑定的定义的方法。解决方案在pom.xml文件中添加如下代码<build> <resources> <resource> <dir

2017-01-25 13:57:43 441

在java中我们常用Timer和TimerTask实现定时功能，而在JavaEE项目中可以使用Spring整合Quartz定时器，非常的强大，能够实现所有想要的定时任务，包括Tomcat服务器开始启动，定时定点定周等等的任务，有关Quartz的介绍和时间配置网上有很多的资料，就不在累赘，下面主要介绍SpringMVC整合Quartz的实现步骤。来源博客： http://blog.csdn.net/f

2016-11-11 11:05:18 251

转载什么是网站跳出率

网站跳出率（Bounce Rate)是评价一个网站性能的重要指标，跳出率高，说明网站用户体验做得不好，用户进去就跳出去了，反之如果跳出率较低，说明网站用户体验做得不错，用户能够找到自己需要的内容。而且以后他可能还会再来光顾你的网站，提高了用户粘性。慢慢的可以积累大量的网站用户。计算方法：一个网站在某一段时间内有1000不同访客从这个链接进入，同时这些访客中有50个人没有二次浏览行为，直接退出网站

2016-11-10 13:35:29 411

转载手把手教你使用Git（转载）

转载出自地址http://www.open-open.com/lib/view/open1414396787325.htmlGit是分布式版本控制系统，那么它就没有中央服务器的，每个人的电脑就是一个完整的版本库，这样，工作的时候就不需要联网了，因为版本都是在自己的电脑上。既然每个人的电脑都有一个完整的版本库，那多个人如何协作呢？比如说自己在电脑上改了文件A，其他人也在电脑上改了文件A，这时，你们

2016-11-09 15:14:35 218

翻译 UIKit--UITableView

UITableView Inherits : UIScrollView : UIView : UIResponder : NSObject conforms to : UIFocusEnvironment, NSObject, UIAppearance, UIAppearanceContainer, NSCoding, UITraitEnvironment, UICoordinat

2016-07-18 16:13:03 375

翻译 UIKit--UIImageView

inhertits to : UIView : UIResponder : NSObject conform to : UIAppearance, UIFocusEnvironment, UIDynamicItem, NSObject, NSCoding, UITraitEnvironment, UIAppearanceContainer, UICoordinateSpace一个UIImageVi

2016-07-14 09:28:07 1538

翻译 Objective-C（二，定义类）

类的定义当你写软件，OS X或iOS，你的大部分时间都花在使用对象。在Objective-C对象，就像在其他面向对象编程语言的对象：他们与相关行为包数据。一个应用程序被构建为一个大的生态系统，相互沟通，解决具体问题，如显示可视化界面，响应用户输入，或存储信息的相互连接的对象。对于OS X或iOS开发，你不需要从头开始创建解决每一个可以想象的问题的对象;相反，你有供您使用现有对象，由可可提供（对于OS

2016-07-13 08:38:26 1704

翻译 Objective-C（一，导言）

Objective-C的就是你的OS X和iOS编写软件时所使用的主要编程语言。这是C编程语言的超集，并提供面向对象的功能和动态运行。 Objective-C的继承了语法，基本类型和流的C控制语句，并增加了语法定义的类和方法。它还增加了语言级的支持对象图管理和对象文本，同时提供动态类型和有约束力的，推迟许多责任，直到运行时。乍看上去本文档介绍了Objective-C语言，并提供其使用的大量的示例。您

2016-07-12 16:17:40 294

转载 Objective-C 入门教程（一）

Objective-C是一种简单的计算机语言，设计为可以支持真正的面向对象编程。Objective-C通过提供类定义，方法以及属性的语法，还有其他可以提高类的动态扩展能力的结构等，扩展了标准的ANSI C语言。类的语法和设计主要是基于Smalltalk，最早的面向对象编程语言之一。　　如果你以前使用过其他面向对象编程语言，那么下面的信息可以帮助你学习Objective-C的基本语法。许多传统的面

2016-07-12 15:52:28 347

原创 css-表格的美化总结

先说最近遇到一个很麻烦而且蛋疼的事情，感觉最近老板有点吃错药了，把我调到数据库服务平台的项目，要我主要负责的是美化这个项目的界面（注：因为这个项目的界面确实是很丑，丑的要命），但是，蛋疼的事情来了，老板只是要我暂时修改一下表格，因为数据库服务的其中一个主要的功能就是数据的展示，一个表格有时候会有15列数据。但是我就纳闷了，整个界面丑得要命，只是修改一个表格就可以解决的，于是我微调了一下表格的每一个c

2016-07-12 14:46:30 2118

转载 Java如何实现WebSocket通讯问题（转载）

hkhhkjhdkjhkjdhkfjdhkf

2016-04-03 11:29:42 6116

转载面向站长和网站管理员的Web缓存加速指南[翻译]

2016-03-09 11:04:48 262

原创 SpringMVC学习笔记

SpringMVC 当需要学习一个新的MVC框架，需要从以下方面入手 1，环境的搭建（实现helloworld） 2，如何传递参数到Controller 3，如何凑够控制器获取参数 4，如何完成文件的上传 5，如何完成验证 6，异常的处理 7，深入学习一些原理和源代码的学习环境的搭建创建一个web工程，然后再导入jar包，接着在web.xml文件中配置servlet-name<s

2016-03-09 09:03:40 331

原创 Angularjs学习笔记

Angular.js 0，为什么开发Angularjs Angularjs致力于减轻于开发人员在开发Ajax应用过程中的痛苦。1，概念 * 客户端模板 Angular中，模板和数据都会被发送到流浪器中，然后在客户端进行装配。什么意思呢？也就是传统中的开发中，用户发起一个http请求，请求一个url的资源，服务器端会将根据用户发送到服务器端的数据进行响应，然后将

2016-03-08 14:00:16 549

转载 java InputStream读取数据问题(转)

关于InputStream.read() 在从数据流里读取数据时，为图简单，经常用InputStream.read()方法。这个方法是从流里每次只读取读取一个字节，效率会非常低。更好的方法是用InputStream.read(byte[] b)或者InputStream.read(byte[] b,int off,int len)方法，一次读取多个字节。关于InputStream类的

2016-02-28 22:38:02 359

原创 (project)数据字典

数据字典做数据库表设计的时候，有些字段的设计并不是直接写实际的值，比如说用户表的性别字段并不是直接写男或则女。而是用户0代表男，1代表女。为什么这么设计呢？接下来就引出了我们现在要介绍的数据字典了。一，数据字典的特性1，维护项目中的基本数据项，数据项在各个功能模块中有可能体现2，维护项目中的动态数据项，让数据项中的内容可以实现动态变化。根据上面我们给出的实际场景，如果需求是不用

2016-02-19 23:06:27 412

原创 (project)-用户角色

企业级系统一般都会涉及到权限的问题，系统里面的功能对有一些用户是开放的，对某一些用户是禁止访问的，就好比我们使用PC的时候，某些功能是需要超级管理员才能访问的，而普通的用户是不能访问。就上述，我们便于管理对用户的管理，会对一些具有一定权限的用户抽象为一类对象，我们称之为角色。也就是说一个用户在系统中会被分配一个角色，而这个角色具有一定的权限的集合。根据上面的分析，我们假设刘备是某系统中最高

2016-02-19 21:51:07 349

原创 iOS-定时器的使用NSTimer

在iOS开始中，我们会使用到一些定时器来帮我们实现一个定时操作的效果，这个时候我们就可以使用NSTimer这个类来实现该效果。举一个案例，图片轮播器，一般会在一些网购的APP使用该效果来轮循播放广告图片。一般需要使用到的组件就是UIScrollView就行了，将要显示的图片加载进来，然后设置UIScrollView的分页效果为YES。下面就是实现该效果的步骤1，搭建界面

2016-01-11 19:18:59 322

原创 iOS-UIImageView对象

更换UIImageView的图片一般情况下有两种做法 //创建UIImageView对象，并给他的image对象赋值 //设置图片，方法一从本地读取图片 UIImageView * imageView = [[UIImageViewalloc]initWithFrame:CGRectMake(100,100,

2016-01-07 20:06:30 516

原创 (project)利用接口，继承，泛型封装dao数据访问层

一般在建立工程的时候会根据不同的模块的功能来建包， dao层的代码是用来访问数据库的，它通过操作domain领域层的对象，对数据库进行增删改查的操作。但是，一般情况下，一个项目有多个表，对应到面向对象的语言就会相应的要创建多个类对象。进而根据对应的对象创建dao层的类，比如，有一个Person对象，如果要操作该对象的话，相应的就要创建PersonDaoImpl这个类来操作person这个对

2015-12-05 14:51:32 739

原创 (iOS)网络数据传输-01

iOS有一个控件可以展示url请求访问浏览器得到的资源并显示出来。该控件是UIWebView。NSURL * url = [NSURL URLWithString:@"http://m.baidu.com"];NSURLRequest * request = [NSURLRequest requestWithURL:url];[self.webView loadRequest:request];

2015-11-30 15:38:12 304

原创基于struts2的文件上传

一，如果要使用struts2来上传文件要遵循一定格式才能成功上传文件假如我们想要上传一张图片，就要定义一个VO类 private File myFile; //上传的文件 private String myFileContentType; //上传的文件类型 private String myFileFileName; //上传的

2015-11-29 19:32:13 286

原创 (HTML5)phonegap的基础入门（一）

phone gap是一个利用HTML5开发App的一个框架，可以一次编写，编译成多个移动平台的版本，常见的就有android，ios，wp，黑莓。它的优点就是能够节省公司的开发周期，但是性能却没有原生的好。 1，安装git 2，安装node.js 3，进入终端使用npm安装phone gapsudo npm install -g phonegap (-g表示在全局范围里安装phonegap)

2015-11-29 12:13:00 585

原创 (project)登陆模块的实现

登陆在项目开发中是在普通不过的一个功能了，然而在web端下该功能的实现也并不单单是将用户的账号和密码拿到后台的数据库中进行查询那么的简单。一般的登陆还包括了验证码的验证，保存用户登陆信息（Cookie技术），如果用户的信息验证通过，还要将用户的数据存放到session，返回到前端页面显示。下面，就登陆模块用代码实现该功能。 1，获取用户信息，查询数据库中是否有这个用户的存在 1.1，将用户输

2015-11-28 19:04:20 900

原创 (JQuery)如何做到搜索输入框的数据异步提交

解决方案使用jquery的方法来监听用户输入的内容的改变，然后提交到后台下面是具体的代码$('searchContent').bind('input propertychange',function(){});上面的方法是用来时时监听用户的输入，然后再调用jquery的异步提交数据(′searchContent′).bind(′inputpropertychange′,function('s

2015-11-19 11:28:31 2927

原创 (JavaSE)基础内容复习

一，继承 0，extends关键字 1，初始化子类必须初始化父类，也就是说调用子类的构造函数之前要先调用父类的构造方法 2，单继承性 3，构造方法不能被继承 4，关键字super，super可以引用父类的属性和方法二，方法覆盖 0，什么是方法覆盖 1，方法覆盖，调用哪一个方法规则：编译时看数据类型，运行时看实际的对象类型，new谁就调用谁的方法 2，方法覆盖的规则

2015-11-18 10:33:03 812

转载 (Java Web)开发高并发处理

java处理高并发高负载类网站中数据库的设计方法（java教程,java处理大量数据，java高负载数据）一：高并发高负载类网站关注点之数据库没错,首先是数据库,这是大多数应用所面临的首个SPOF。尤其是Web2.0的应用，数据库的响应是首先要解决的。一般来说MySQL是最常用的，可能最初是一个mysql主机，当数据增加到100万以上，那么，MySQL的效能急剧下降。常用的

2015-11-18 09:36:34 368

原创 Javascript常见的用户信息输入校验

判断邮箱格式是否合法 /*验证邮箱输入是否正确*/ function isEmail () { var email = document.getElementById("email").value; if (email.search(/^([a-zA-Z0-9]+[_|_|.]?)*[a-zA-Z0-9]+@([a-zA-Z0-9]+[_|_|.]?)*

2015-11-16 23:41:12 508

原创 (iOS)控制器之间数据的传递

控制器之间的数据传递调用[self performSegueWithIdentifier:@”” sender:nil];这个方法就会跳转到另外一个控制器，但是在控制器类里面可以重写一个方法，在调用这个方法之后调用的。-(void)prepareForSegue:(UIStoryboardSegue *)segue sender:(id)sender;这个方法是系统调用的，当系统执行完pre

2015-11-16 18:54:22 696

原创 (iOS)控制器的生命周期

控制器的生命周期的方法0，viewDidLoad（）view加载完毕1，viewWillAppear（）view即将显示到window上2，viewDidAppear（）view在window上显示完毕3，viewWillDisappear（）view在window上即将消失4，viewDidDisappear（）view在window上消失了上面的五个步骤是控制器的五个常见的生命周期。

2015-11-16 15:00:17 762

原创 Eclipse的debug模式下的一些快捷键

•Step Over(F6):跳过,执行下一步•Step Into(F5): 跳入,进入执行的方法内部•Step Return(F7):跳出,跳出当前执行的方法•Resume(F8)：跳入到下一个断点，如果没有直接结束•Drop to Frame:跳到执行方法的第一句(初始化|重置)•Terminate (Ctrl+ F2):终止调试，

2015-11-16 11:30:15 2537

VVDocumenter-Xcode-master

nexus-2.0.3-bundle.zip

空空如也