张小竟

kettle组件-Java集成获取日志网络的文档较少，本文档将详细描述其中内容实现内容JobMeta jobMeta=new JobMeta("C:/Users/LENOVO/Desktop/kettle/122.kjb",null);DatabaseMeta databaseMeta=new DatabaseMeta("fromDbName", "mysql", "Native(JDBC)", "192.168.13.17",     &nb.

Java如何模拟kettle组件转换任务中输入-转换-输出功能点，此类问题在网上解答较少，需要研究kettle源码完成，在下面的叙述中，我将一一解答输入mysql/**  * 创建步骤：（输入：表输入）     *      * @param transMeta     * @return    */     priv.

达利欧《原则》原则清单一、生活原则拥抱现实，应对现实做一个超级现实的人真相（或更准确地说，对现实的准确理解）是任何良好结果的根本依据做到头脑极度开放、极度透明观察自然，学习现实规律进化是生命最大的成就和最大的回报理解自然提供的现实教训痛苦 + 反思= 进步考虑后续与再后续的结果接受结果从更高的层次俯视机器有明确的目标找出问题并且不容忍问题诊断问题，找到问题的根源规划方案坚定地从头至尾执行方案谨记：如果你找到了解决方案，弱点是不重要的理解你和其他人的“意境地图”与谦逊性做到头脑极度开放认识你的两大障碍奉行头脑

《麦肯锡笔记思考法》读书笔记一、大多数人的笔记和麦肯锡笔记的区别二、掌握麦肯锡笔记术的好处三、麦肯锡笔记术中最重要的三个心态一边思考假设一边做笔记追求成果用故事线思考四、麦肯锡四步解决问题笔记术第一步：找出真正问题第二步：建立假设分组整理，建立假设第三步：验证假设第四步：取得成果两点想法我们一切的工作都是为了解决问题，而解决问题的关键在于思考。《麦肯锡笔记思考法》这本书介绍的笔记思考法，教你如何将笔记做为“思考工具”和“解决问题的工具”，边写边思考，整理思绪，解决一切难题。最近在图书馆翻到了一本书《麦

《麦肯锡笔记思考法》初步学习心得)01今天在得到app中听到了一个知识新闻，讲解的是《麦肯锡的笔记思考法》。得到用了两分钟的时间提炼了作者的关于笔记思考的心得，我日常听的是音频版，一旦遇到有共鸣的内容，就会反复听，包括读文稿。02由于我最近也在思考关于写作的一些方法和技术，因此，尽管知识新闻的这两分钟很短，但是有很多内容触及到了我的心灵，我觉得这本书一定会给我带来很大的收获。我马上就有了去学习一下的冲动。我赶紧用手机在学习图书馆网站搜索了一下，发现图书馆还没有这本书。接着我在网上搜了一下电子书，也没

自从看了<<麦肯锡的领导力法则>>之后......一、思维力：领导者要有全局观，用更高的视角看待问题二、威信力三、平衡力：恰到好处的安排四、协调力：各部门人员工作协调发展每个人都有可能成为领导者，提升领导力是对自己最好的投资！在工作中，不管你是不是领导，都需要有一点儿领导力，我认为领导力也是一种影响力，做正确的事情，并潜移默化影响你周围的人，和你一起前行。出色的领导者的优秀品质有很多，首先应该是真诚和有前瞻性，其次需要有激情和能力，唯独没有领导力。为什么？因为只有把所有的优秀

CompletionService将Executor（线程池）和BlockingQueue（堵塞队列）结合在一起，同一时候使用Callable作为任务的基本单元，整个过程就是生产者不断把Callable任务放入堵塞对了，Executor作为消费者不断把任务取出来运行，并返回结果，实现list集合分发多线程串行计算返回计算结果

mysql库与oracle库表结构字段长度等都一致，在两个库互相导数的过程中出现**ORA-12899: value too large for column (actual: 27, maximum: 20**，刚开始认为是oracle中**UTF**，一个中文字占三个字节，而**GBK**，一个中文字占两个字节，故尝试将oracle字符集改为**GBK**，而后发现依旧是这个问题，经过思考，mysql **varchar**类型一个中文字占1字节，oracle **nvarchar2**一个中文字也占一

CDH集成ananconda的资料。以及oozie调用anaconda的资料很少，这里写一篇，希望大家一起学习下

kubernetes & docker 单机安装安装docker第一步第二步安装kubernetes第一步第一步遇到的问题问题A第二步 测试安装情况第二步遇到的问题安装docker第一步yum install -y yum-utils device-mapper-persistent-data lvm2yum-config-manager --add-repo http://mi...

一、scrapy代码# encoding=utf-8import jsonimport refrom urlparse import urljoinfrom pytube import YouTubeimport scrapyfrom scrapy.http import Requestfrom scrapy.selector import Selectorfrom v...

Java高并发记录高并发线程池高并发线程池有如下：newCacheedThreadPool 无界限线程池，存放个数Integer.MAX_VALUE可进行线程自动回收，可实现线程工厂newFixedThreadPool 有界线程池，可指定最大数量，可定制线程工厂 newSingleThreadEcecutor 创建单一线程池，单一线程池可以实现队列的方...

DB2V9.7实现Java自定义函数UDF，不需要用db2自带的jdk编译，只需要版本相同即可

Java访问用户名密码验证的url引言代码引言有些url带有用户名密码，我们直接用curl或者wget访问的时候出现401，没有访问权限。这时我们就需要对url进行必要的权限处理代码private static String Post1(String url, String hexString) throws IOException { CloseableHttpClient cl...

DB2数据库安装(db2 9.7 ,centos7)一．软件配置Db2数据库 db2exc_970_LNX_x86_64.tar.gz环境 centos7DB2客户端 Aqua Data Studio 19.0 - 64bit二．Db2安装1.解压tar -zxvf db2exc_970_LNX_x86_64.tar.gz2.检查安装条件./db2prereqcheckWA...

Java访问用户名密码验证的url引言代码解释引言有些url带有用户名密码，我们直接用curl或者wget访问的时候出现401，没有访问权限。这时我们就需要对url进行必要的权限处理代码解释private static String Post1(String url, String hexString) throws IOException { CloseableHttpClien...

Docker 最初是 dotCloud 公司创始人 Solomon Hykes 在法国期间发起的一个公司内部项目，它是基于 dotCloud 公司多年云服务技术的一次革新，并于 2013 年 3月以 Apache 2.0 授权协议开源)，主要项目代码在 GitHub 上进行维护。Docker 项目后来还加入了 Linux 基金会，并成立推动开放容器联盟。

复杂流程图的配置生成小记SQL创建jsp 编写js编写流程图效果展示小记jsPlumb使用SVG为开发者提供了一个可以形象化连接页面元素的工具jsPlumb库不需要外部依赖jsPlumb最后一个兼容IE8的版本为1.7.x，此后版本将只支持在现在浏览器中使用，但官方会继续维护1.7.x版本SQL创建去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.CRE...

今天写关于决策树的一些算法的时候，卧槽，mmp,竟然出现了红色的警示错误，oneRowX: [0. 0. 1. 0. 1. 1. 0. 0. 1. 0.]newRowX: [1. 0. 0. 0. 1. 1. 0. 0. 1. 0.]Traceback (most recent call last): File "D:/pythoncode/jqxi/tree/tree.py", l...

　这里，一般，都是创建临时有序子节点，怎么来创建，不难 　　说到协调，我首先想到的是北京很多十字路口的交通协管，他们手握着小红旗，指挥车辆和行人是不是可以通行。如果我们把车辆和行人比喻成运行在计算机中的单元(线程)，那么这个协管是干什么的？很多人都会想到，这不就是锁么？对，在一个并发的环境里，我们为了避免多个运行单元对共享数据同时进行修改，造成数据损坏的情况出现，我们就必须依赖像锁这样的协调机...

  这两天在看python代理IP实现，终于敲定了，哈哈，看代码 from bs4 import BeautifulSoupimport requestsimport randomimport urllib2def get_ip_list(url, headers): web_data = requests.get(url, headers=headers) ...

  脚本命令 这里第一个参数是python脚本名称，第二个参数是jsonspark-submit --master yarn --deploy-mode cluster --num-executors 20 --executor-memory 8g --executor-cores 2 --conf spark.yarn.executor.memoryoverhead=4096 $1...

话说，是springmvc连接hive没啥问题，那如果是kerberos认证的hive怎么连  &lt;beans:bean id="jdbcListener" class="com.bonc.bm.core.listener.JdbcListener"&gt; &lt;beans:constructor-arg name="kerberos" value="true"&gt

    k近邻法(k-nearest neighbor, k-NN)是1967年由Cover T和Hart P提出的一种基本分类与回归方法。它的工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类...

       selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功...

&lt;listener&gt; &lt;listener-class&gt;org.springframework.web.util.Log4jConfigListener&lt;/listener-class&gt; &lt;/listener&gt; &lt;context-param&gt; &lt;param-name&gt;param...

Message Digest Algorithm MD5（中文名为消息摘要算法第五版）为计算机安全领域广泛使用的一种散列函数，用以提供消息的完整性保护。该算法的文件号为RFC 1321（R.Rivest,MIT Laboratory for Computer Science and RSA Data Security Inc. April 1992）。MD5即Message-Digest Algo...

一张图片有的时候太大了之后，我们需要把大图分割成若干张小图存入数据库，在读取的时候，需要把若干张小图合成一张大图因此有了如下的代码，首先分割private static void splitImage() throws IOException { //String originalImg = "C:\\img\\split\\a380_1280x1024.jpg"; ...

Base64是网络上最常见的用于传输8Bit字节码的编码方式之一，Base64就是一种基于64个可打印字符来表示二进制数据的方法。可查看RFC2045～RFC2049，上面有MIME的详细规范。Base64编码是从二进制到字符的过程，可用于在HTTP环境下传递较长的标识信息。例如，在Java Persistence系统Hibernate中，就采用了Base64来将一个较长的唯一标识符（一般为1...

ChannelSftp 工具类为Java使用SFTP操作linux的一个工具，那么何为SFTP：sftp是Secure File Transfer Protocol的缩写，安全文件传送协议。可以为传输文件提供一种安全的网络的加密方法。sftp 与 ftp 有着几乎一样的语法和功能。SFTP 为 SSH的其中一部分，是一种传输档案至 Blogger 伺服器的安全方式。其实在SSH软件包中，已经包含了...

本文介绍easyui的datagrid如何使用编辑器的功能并且完成自定义的校验1、定义dategrid列表，这里editor主要是设置该字段可以编辑，并且指定自定义编辑类型editor="{type:'Wdate',options:{required:true}}"<e:datagrid url='' id="order_...

如何在html或者jsp页面添加水印而不影响页面的基本框架，今天我给出如下例子，敬请指错 .cover { position:absolute; left:0; top:0; z-index:999999999999999; margin-right:0px; margin-left:0px;

mysql递归树需要用到函数完成，而oracle的递归却显的简单了，一条sql就可以解决了递归父节点select * from rr s start with s."ID"=584 CONNECT by s.id= PRIOR s.PARENT_ID递归子节点select * from rr s start with s."ID"=584 CONNECT by PRIOR s.id= s.P

AOP：何为AOP aop全称Aspect Oriented Programming，面向切面，AOP主要实现的目的是针对业务处理过程中的切面进行提取，它所面对的是处理过程中的某个步骤或阶段，以获得逻辑过程中各部分之间低耦合性的隔离效果。其与设计模式完成的任务差不多，是提供另一种角度来思考程序的结构，来弥补面向对象编程的不足。　　通俗点讲就是提供一个为一个业务实现提供切面注入的机制

Conditional@Conditional是SpringFramework的功能，SpringBoot在它的基础上定义了@ConditionalOnClass，@ConditionalOnProperty的一系列的注解来实现更丰富的内容。定义一个自定义标签import com.example.conditional.MyConditi

spring boot拦截器默认有 HandlerInterceptorAdapterAbstractHandlerMappingUserRoleAuthorizationInterceptorLocaleChangeInterceptorThemeChangeInterceptor添加 WebMvcConfigurerAdapter 配置import org.springfram

网上的资料搜来搜去，都是文字描述，怎么在idea上创建springboot ，我来一波动图的，哈哈，最后的报错只是maven的jar报没下载好，其余一切正常，欢迎各位小哥哥，小姐姐来提意见

html data-xxxx 特性

html5自定义新标签属性

说结论，关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。 使用scrapy爬取淘宝页面的时候，在提交http请求时出现debug信息Forbidden by robots.txt，看来是请求被拒绝了。开始因为是淘宝页面有什么保密机制，防止爬虫来抓取页面，于是在spider中填入各种header信息，伪装成浏览器，结果还是不行。。。用

nginx https nginx.conf配置文件摘要

scala eclipse org.eclipse.ui.ide.workbench could not be found in the registry

Java mongodb下根据数组大小进行查询的方法

from bson import ObjectId$push$addToSet$unset

python日志管理 开发过程中日志管理是很重要的，Java中有 log4j插件，具体格式为时间、类型、日志内容，那么python中如何构建这个日志# -*- coding: utf-8 -*-import datetimeimport loggingimport logging.handlersimport os# import fileutildef log(log_messag

No space left on device错误解决磁盘没有没有空间df -h查看磁盘空间用量，该删的删呗联系我

python获取当前时间戳Long类型 怎么用python完成获取时间，并且转换成long类型

Java spring-mongodb获取指定字段的值 java操作mongodb数据库只获取指定字段的值这个问题困扰我好久，网上的内容要么不适用mongoTemplete，要么不好用

Java ik-analyzer上传jar包到maven库 今天碰到一个问题自己的jar包放到maven里面不支持打包代码如下mvn install:install-file -Dfile=D:\mavenStore\org\wltea\ik-analyzer\ik-analyzer\4.10.2\ik-analyzer-4.10.2.jar -DgroupId=org.wltea.ik-an

python操作数据库之批量导入 Python语法简洁清晰，特色之一是强制用空白符(white space)作为语句缩进。 Python具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中[3] 有特别要求的部分，用更合适的语言改写，

spring-mongdb 删除数组对象

1、Pipleline 加入如下代码：（在数据爬完后将URL塞入redis去重）class RedisInsert(object): def process_item(self,item,spider): set_redis_values_1(item['url']) return item2、Middleware加入如下代码：（在爬数据之前

第一种方法：crontab定时任务#!/bin/shcd /opt/java2/python/data=./Beginps -fe|grep $data |grep -v grepif [ $? -ne 0 ]thenecho begin `date '+%Y%m%d %H:%S:%M'`echo "start process....."sh /opt/java2/python

spring-mongodb-data 返回指定字段

Java Spring 删除mongodb数组内置文档

本项目为Python爬取马蜂窝项目，使用scrapy项目作为框架，使用到代理，mongodb辅助存取爬取

redis删库

这两天在看python代理IP实现，终于敲定了，哈哈，看代码from bs4 import BeautifulSoupimport requestsimport randomimport urllib2def get_ip_list(url, headers): web_data = requests.get(url, headers=headers) soup =

需求：定义list集合从0开始，到自定义整数的随机数，要求不重复实现:定义一个listA集合从0开始，到自定义整数顺序排列，获取一个随机数，并查询在listA的位置，替换相应位置的数为size，并将这个随机数保存到listB

项目中要用到json-lib，mvnrepository.com查找它的dependency时结果如下

elasticsearch创建索引

springboot集成log4j完成日志错误时发送邮件

激活代码CalcActivationCode.pyimport shaimport stringBASE2 = '01'BASE10 = '0123456789'BASE16 = '0123456789ABCDEF'BASE30 = '123456789ABCDEFGHJKLMNPQRTVWXY'BASE36 = '0123456789ABCDEFGHIJKLMNOPQRSTUVW

# ===================================================================# COMMON SPRING BOOT PROPERTIES## This sample file is provided as a guideline. Do NOT copy it in its# entirety to your own appl

现实生活中，密钥登录服务器总比密码登录服务器要安全的多的，今天，我就来说说密钥登录服务器的步骤

redis-dump redis-load 是一个非常好用的工具，今天，我来说说怎么安装，怎么使用redis-dump -u:112356@190.90.198.113:9379 >/mnt/zhang/redis/$date.json<$APP_PATH redis-load -u:112356@190.90.198.113:9379

elasticsearch解决某一字段值等于某字符串时优先排序问题，这个很让我困扰，数据库中source字段为qyer时排在前面，对，就是这样用script完成这个排序

ScriptException[scripts of type [inline], operation [update] and lang [groovy] are disabled]

小狼最近在用redis数据库，想着不用自己手动操作写个脚本完成定时任务，每天晚上自动跑，然后自己备份，这样我每天看看log日志就行了

小狼在redis重启之后丢失了数据库中全部的数据，很是头疼，怎么才能让他不丢失数据，成了小狼必须要解决的重中之重

springboot一直以来以简单快速著称，在myeclipse上完成部署很容易，运行application.java 就行，但是centos上如何部署先用maven package完成打包（不能图省事用fatjar会报错）

No auto configuration classes found in META-INF/spring.factories. If you are using a custom packaging, make sure that file is correct. at org.springframework.util.Assert.notEmpty(Assert.java:276)小狼第一次接触springboot ，为了方便用的fatjar打包，结果出现这个问题，调整思路后在项

Project configuration is not up-to-date with pom.xml.Run project configuration update

Missing artifact

用yum安装redis在网上一直搜不到，今天我整理了一下，希望对大家有帮助

centOS安装ZeroMQ所需组件及工具：yum install gccyum install gcc-c++yum install makeyum install uuid-devel yum install libuuid-devel JZMQ安装过程中错误及所需组件：错误：autogen.sh: error: could not find libtool. 

关于数据云API操作，大家同样是要在apicloud主页上建立一个数据库，数据表等等，参考mcm。其实具体的操作文档上都有，我就说一个例子function test4() { var now = Date.now(); var appKey = $.sha1("A6903547912689"+"UZ"+"8C6CB9D1-FD18-6B0A-859C-EA0

apicloud中有一个简单的却是常用的模块db，db模块封装了手机常用数据库sqlite的增删改查语句，可实现数据的本地存储，极大的简化了数据持久化问题其实很简单，按照如下方式，试验一下就ok了function test3() { var db = api.require('db'); var sql = "CREATE TABLE Persons(Id_P int,

apicloud的mcm模块其实就是应用云端数据库完成一系列操作，说到云端数据，当然要先创建数据库，按照如下方式创建，当然，双击就可添加数据之后就简单了，在项目的页面里写上这样的查询就ok了，其中appid，appkey都是来自appcloud官网数据function test2() { var userId = 'userId'; var friendUs

apicloud是一款用html5封装的手机端的一个东西，消息推送就是我们经常说的手机打开一个软件后，该软件会出现相应的消息显示在通知栏，例如这样                                                            怎么才能实现呢，其实完成下面几步就ok了1、在极光推送网站（ https://www.jpush.cn ）注册

1、apicloud   api地址http://www.apicloud.com需要用到的模块  技术     mcm  极光推送  db   restapi2、apicloud是用json格式进行的需要在Java端加上如下jar包                                       3、apicloud在使用restapi的时候需要引入jQuer

sqoop看了这么多，昨天犯了一个低级错误，把没有经过hive或者hbase处理的数据直接导出到mysql，这样默认支持的列分隔符是‘,’，而我的是'\t'，所以老是报错，后来改了一下，把列分割符改成hive的默认分隔符'\001'，成功！！！

本文详细介绍了关于hive -f 组件的封装，原因是，hive -f 组件虽然能封装文件，却无法传参，给开发带来诸多不便，如今我们用Java代码完成sql传参，用hive -e执行传参后的sql语句

我们如何解决hive运行时内存溢出的问题，首先，增大mapreduce内存，其次增大TaskTracker内存

我们在企业中很容易遇到以下问题：岩机（重启无效），坏块，负载均衡。岩机，其实很简单，我们把那个进程杀死就是了。坏块怎么办，hadoop修复坏块的能力很慢，我们要等他自己修复吗？？？NO！！！hadoop fsck / -delete ，这个命令删除坏块。负载均衡呢，其实很多人说，可以把blanacer服务打开,可是这是对于集群而言，要是我说的负载均衡是指一个服务器内两块磁盘的负载均衡，如何？？？将对应的/data/hadoop/dn/current/下的块文件移到占用率少的磁盘对应的文件夹下。

hive的安装很简单，主要是配置mysql，以及hive的配置文件，我们采用yum下载

centos6.3  64位有Java1.5自带,当我安装CDH4时，习惯用老的方法来查看进程是否正确启动,即jps,可是他却告知-bash: jps: command not found原因很简单,java1.5没有jps命令以下为解决方式:查看Java1.5位置[hadoop@master bin]$ which java/usr/bin/java

何为yum？？？   yum，是Yellow dog Updater Modified的简称，起初是由yellow dog这一发行版的开发者Terra Soft研发，用python写成，那时还叫做yup(yellow dog updater)，后经杜克大学的Linux@Duke开发团队进行改进，遂有此名。yum的宗旨是自动化地升级，安装/移除rpm包，收集rpm包的相 关信息，检查依赖性并自动

-rwxrwxrwx 首个字符-表示文件   d表示目录  l表示软连接                  r:只读                   w:写                  x:可执行   rwx:4+2+1=7                  -w-  2                   --x  1              

shutdown -h now 关机shutdown -r now 重启

关于linux防火墙操作及使用      关闭防火墙            vi /etc/sysconfig/selinux#修改为 SELinux=disable  （重启后有效）            sudo service iptables stop            sudo chkconfig iptables off            sudo chkc