2017年11月_张小凡vip

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 kettle案例二抽取mysql数据保存到mongodb

我们在案例一中完成了 kettle案例一抽取gz格式文本内容保存到mongodb本次尝试从mysql中抽取数据。详细步骤如下: 启动并建立流程经过案例一的学习，基本使用kettle转换的流程我们已经清楚了，区别只是在于使用的组件不同而已。我们第一步还是需要先店家Spoon.bat启动kettle。建立转换流程如下: 表输入—> MongoDB OutPut ...

2017-11-30 16:45:48 5883

转载遇到错误----Mongodb----导出数据报错 Sort operation used more than the maximum 33554432 bytes of RAM

遇到的情况线上的列表在运行过程中突然爆出了一个Mongodb 查询的BUG，错误如下： “exception”:”org.springframework.data.mongodb.UncategorizedMongoDbException”, “message”:”Query failed with error code 96 and error message ‘Executor...

2017-11-29 16:30:14 6266

原创 linux积累(一)---查看压缩文件的最后一行

有时候我们需要处理大的压缩文件，查看其中的内容，但是先解压再查看解压的过程会花比较多的时间。一般可以使用 zcat 123.gz 的方式查看压缩文件的内容。也可以使用 less 123.gz more 123.gz less 123.gz|grep rs123 或者 tail -n 123.gz 等命令去查看压缩文件的内容。查看压缩文件行数 zcat 123.gz|

2017-11-29 11:00:27 9339 1

原创 kettle案例一抽取gz格式文本内容保存到mongodb

版本和启动我们这里使用的7.1版本，官网下载的安装包为pdi-ce-7.1.0.0-12.zip。安装目录下非常多的执行程序，但没有明显的启动图标。 Kettle常用三大家族：Spoon、Pan、Kitchen。 Spoon:通过图形界面方式设计、运行、调试Job与Transformation。 Pan: 通过脚本命令方式来运行Transformation。 Kitch...

2017-11-28 20:00:46 3479

原创 ETL工具Kettle简介和安装配置基本使用

什么是KettleKettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是...

2017-11-15 18:35:58 54916

原创数据仓库多维数据模型设计

建设数据模型既然是整个数据仓库建设中一个非常重要的关键部分，那么，怎么建设我们的数据仓库模型就是我们需要解决的一个问题。这里我们将要详细介绍如何创建适合自己的数据模型。数据仓库建模方法大千世界，表面看五彩缤纷，实质上，万物都遵循其自有的法则。数据仓库的建模方法同样也有很多种，每一种建模方法其实代表了哲学上的一个观点，代表了一种归纳，概括世界的一种方法。目前业界较为流行的数据...

2017-11-09 18:14:59 41687 1

原创 OLAP和多维数据模型

OLAP分析联机分析处理OLAP是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。它具有FASMI(Fast Analysis of Shared Multidimensional Information)，即共享多维信息的快速分析的特征。其中F是快速性(Fast)，指系统能在数秒内对用户的多数分析要求做出反应；A是可分析性(A...

2017-11-09 15:56:36 26201

原创数据仓库方案选型

总体框架通常采用三层体系结构：前端工具（顶层）-OLAP服务器（中间层）-数据仓库服务器（底层）。底层的数据仓库服务器通常是一个关系数据库系统(各种表关联的sql统计会更方便一些，非关系型数据库目前在这方面还是有所区别)。中间层OLAP服务器，典型实现为ROLAP模型或MOLAP模型。顶层为前端客户端，用于数据分析和挖掘等（如趋势分析、预测）。当然现在很多成熟的BI工具都是集成了OLAP

2017-11-07 10:43:20 26095

转载唯品会海量实时OLAP分析技术升级之路

讲师介绍谢麟炯，唯品会大数据平台高级技术架构经理，主要负责大数据自助多维分析平台，离线数据开发平台及分析引擎团队的开发和管理工作，加入唯品会以来还曾负责流量基础数据的采集和数据仓库建设以及移动流量分析等数据产品的工作。海量数据实时OLAP场景的困境大数据首先来看一下我们在最初几年遇到的问题。第一就是大数据，听起来好像蛮无聊的，但大数据到底是指什么呢？最主要的问题就是...

2017-11-03 15:20:28 3589

转载阿里云大数据三次技术突围：Greenplum、Hadoop和飞天

对于企业来说，到底什么是云计算？相信很多企业都有这样的困惑，让我们一起回到这个原始的起点探讨究竟什么是云计算？云计算对于企业而言到底意味什么？云计算的三条发展路径及三种落地形态当回到最初的起点再审视云计算的发展路径，可以发现，经过十余年的发展演进，云计算有三条发展路径，并且最终沉淀下来了三种落地形态。第一条路：源自于谷歌对大规模数据的处理，谷歌为全球的互联网用户提供同一个服...

2017-11-03 14:26:21 11154

原创遇到的问题---MongoDB的java驱动的坑---启用副本集后id的update无效

情况我们有文档如下: { “_id”: ObjectId(‘59f189e9861afe7aa6d684b0’), “mobile”: “12345678”, “reason”: 18, “createOper”: “zhangzequan”, “createDate”: ISODate(‘2017-10-26T07:08:25.669Z...

2017-11-02 14:06:00 1901

jQuery网页扫描二维码打赏功能代码.zip

2017-05-07

springshiro

spring集成shiro 和mongodb数据库，下载可用ini配置，启用mongo配置

2015-06-24

springMVC框架

springMVC框架代码可用

2015-06-01

zoe的maven框架

本人经常用的代码框架，包含了ss-mongodb，quartz,httpclient的登录和抓取，jsp和action之间的传值。

2015-03-03

svn服务端window版安装程序

svn服务端window版安装程序，自己下载安装可用

2014-12-08

过滤代理ip的程序

用于过滤代理ip,选出可用代理ip,因为上传限制，里面不包含lib包

2014-10-23

ssh框架例子

可用的ssh框架例子，搭建过程详见本人博客

2014-08-07

java基本框架

java基本框架包含ss和mongodb以及quartz之类的一些包

2014-07-22

java发送邮件用到的包mail

java发送邮件用到的包mail，具体使用方法详见本人博客

2014-07-14

myeclipse的svn插件.zip

myeclipse的svn插件.zip,解压后把features和plugins放到myeclipse的dropins文件夹即可

2014-07-08

ssh框架搭建用到的包完整版.zip

ssh框架搭建用到的包完整版.zip 网上有很多ssh搭建的教程，但是我们自己搭建时常常因为包的版本冲突出现这样那样的问题。本次的完整版是可以成功搭建的。欢迎使用，教程在博客中更新。

2014-07-03

java通过class读写excel的例子

我们常常遇到要把一个类class写入excel的时候,有时候class的字段非常多，我们不可能一个个的去get写入excel。这里写了一个通用方法。只要传入数据的list和类型，就能很方便的把数据写入excel,也能很方便的读取出来。

2014-07-01

log4j示例项目

log4j示例项目，里面包含了log4j需要的两个包，以及设置的方法，调用的方法。

2014-06-16

easyui相关文件和示例

jQuery easyui相关文件和示例

2014-04-23

mongodb+spring+strust框架完整示例版本

2014-04-18

java excel api

java excel api 的包引入后可方便的对excel进行读写

2014-04-17

mongodb+spring+strust框架

2014-04-15

java解析json用到的包

2014-02-18

java爬取网页表格的例子(运行环境myeclipse)

2014-01-24

整合spring和mongodb用到的包和配置文件

整合spring和mongodb用到的包和配置文件 spring和mongodb的配置很麻烦版本不对应就容易报错这里可以直接引用只要解压后放到web-inf文件夹中即可自己工程的lib文件夹如果已经有东西则把解压出的lib中包放到自己工程中的lib中

2014-01-21

Spring Boot使用spring-data-jpa配置Mysql多数据源

Spring Boot使用spring-data-jpa配置Mysql多数据源，可用版本

2018-12-17

springMVCHibernateShiroBootStrap框架

springMVCHibernateShiroBootStrap框架springMVCHibernateShiroBootStrap框架

2017-11-16

cxselect选择城市

cxselect选择城市，联动效果，列出出了大部分的城市以及区，县等信息，封装了联动选择效果。引用后可直接使用。官网:https://www.npmjs.com/package/cxselect 示例: http://www.jq22.com/yanshi3238

2017-09-13

ueditor1.4.3的jsp版utf-8

ueditor1.4.3的jsp版utf-8,加入项目中即可使用。官网文档http://fex-team.github.io/ueditor/

2017-07-03

bootstrap-tagsinput.zip

bootstrap-tagsinput.zip，bootstrap框架可以使用的tag标签输入框效果插件。

2017-06-26

bootstrap-fileinput-master.zip

最好用的bootstrap-fileinput上传组件，支持多图上传，详细使用方式请查看http://blog.csdn.net/zzq900503/article/details/73499514

2017-06-23

uploadifyHtml5

uploadify的Html5可用版本， uploadify的html5版本可以解决safari等浏览器需要session的问题。

2017-06-14

springshiroHttpURLConnection.zip

SpringMVC框架选择文件后上传到远程静态资源服务器的源码。

2017-06-07

select2插件资源

select2插件资源，直接放入项目中引用css和js可用。详细使用方式可查看我的博客select2的下拉选择框使用

2017-05-19

SpringMVC+Shiro+MongoDB+BootStrap基础框架

SpringMVC+Shiro+MongoDB基础框架，maven管理包，直接下载可用。这是一个空白的基础项目，可以很方便的在上面进行开发，目前在此基础上加上了BootStrap后台模版，如果进行后台系统开发的话建议使用这个系统。

2017-05-16

SpringMVC+Shiro+MongoDB基础框架

SpringMVC+Shiro+MongoDB基础框架，maven管理包，直接下载可用。这是一个空白的基础项目，可以很方便的在上面进行开发

2017-05-15

cas+shiro客户端源码

cas+shiro客户端源码,cas的客户端加上了shiro的权限控制。不包含服务端

2017-02-17

hadoop-eclipse-plugin-1.2.1.jar

hadoop-eclipse-plugin-1.2.1.jar,直接解压后放到myeclipse中的dropins目录下重启myeclipse即可。

2016-09-14

hadoop2完全分布式最新高可靠安装文档及整合hbase0.96安装

2016-06-12

hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结.pdf

2016-06-12

myeclipse10.7.1导出war包崩溃补丁.zip

2016-05-04

Bootstrap双日历插件使用demo

Bootstrap双日历插件使用演示,下载后点击html可看到效果

2016-03-05

springMVC+maven+hibernate框架

springMVC+maven+hibernate框架,搭建的过程可以参考 java进阶(五)------springMVC---springMVC+Hibernate+maven完整搭建运行步骤 http://blog.csdn.net/zzq900503/article/details/49892783

2015-11-22

鼠标经过时弹出层的效果示例

鼠标经过时弹出层的效果示例，现在是静态数据，如果需要动态请求，根据传值getJson去后台取数据即可。

2015-07-15

图片放大镜效果示例

图片放大镜效果示例，封装了js，可以很方便的调整，直接浏览器打开可看到效果，再根据自己的需求做相应调整。

2015-07-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人