zhumin726的专栏

翻译 apache-hadoop 2.0.2-alpha HDFS Federation

原文出处http://hadoop.apache.org/docs/r2.0.2-alpha/hadoop-yarn/hadoop-yarn-site/Federation.htmlHDFSF分为2层 namespace和block storageNamespace         由目录，文件和快组成         支持所有的namespace 文件相关的操作，例如增，

原创 hive简介，安装 配置常见问题和例子

<!--@font-face {font-family:Helvetica}@font-face {font-family:宋体}@font-face {font-family:"Cambria Math"}@font-face {font-family:Calibri}@font-face {font-family:"\@宋体"}p.MsoNormal

原创 小市值策略(股票).py

# coding=utf-8from __future__ import print_function, absolute_importfrom gm.api import *"""本策略采用布林线进行均值回归交易。当价格触及布林线上轨的时候进行卖出，当触及下轨的时候，进行买入。使用600004在 2009-09-17 13:00:00 到 2020-03-21 15:00:00 进行了回测。注意：1：实盘中，如果在收盘的那一根bar或tick触发交易信号，需要自行处理，实盘可能不会成交。.

原创 布林线均值回归

# coding=utf-8from __future__ import print_function, absolute_importfrom gm.api import *"""本策略采用布林线进行均值回归交易。当价格触及布林线上轨的时候进行卖出，当触及下轨的时候，进行买入。使用600004在 2009-09-17 13:00:00 到 2020-03-21 15:00:00 进行了回测。注意：1：实盘中，如果在收盘的那一根bar或tick触发交易信号，需要自行处理，实盘可能不会成交。.

原创 八宅排盘设计

一、八宅排盘1 输入：房间朝向主人生日2 输出：阳宅八宅属性，八位。八位与主人生克。二、房屋风水1 导入AUTOCAD 户型图2 轮巡所有风水煞气，进行户型分析3 列出煞气加改进方式。没空写，谁看到写出来是 全网原创第一。详细分析算法可以咨询本人。...

原创 紫微斗数排盘JS算法 源码 和解析

1 自己看注释doushu.jsvar dizhiarry=["\u5b50","\u4e11","\u5bc5","\u536f","\u8fb0","\u5df3","\u5348","\u672a","\u7533","\u9149","\u620c","\u4ea5"];//地支var tianganarry=["\u7532","\u4e59","\u4e19","\u4e01","\u620a","\u5df1","\u5e9a","\u8f9b","\u58ec","\u767..

原创 无人机自动喷洒农药的设计

1 寻路系统1.1GPS绘制喷洒范围1.2 根据喷洒设备设置最小范围。如10米1.3 根据喷洒范围 和 最小范围划分多个像素点。1.4 自动路径生成.路径规划算法2 常规1.1 电池管理1.2 喷洒控制设计...

原创 【无聊】记录一些mind wave的应用

1  通过 mind  wave 分析人的脑纹特点，识别人格分裂者的脑部放电情况，证实人格分裂案例是否真是存在2 对 同一场地服用致幻剂人群的脑波探测。是否有相同内容。。证实同一时刻，同一地点出现幻觉的内容是否相同。3 mind wave->.brain-text->智能家居的应用 。

原创 可定制智能系统解决方案

架构如下：抽象出模块：一  内部运行1  规则模块condition : 条件、接输入接口，通过一个中央控制器判断action: 动作。接硬件通用接口rule：规则。 rule由2部分组成，condition和action 。action可以迭代condition.形成一个复杂的逻辑树，action=condition+action+action=condition+con

原创 集成智能家居输入设备集成方案

1  mindwave设备+电脑或移动设备或智能路由器 +智能家居（优点，指令加密性，缺点不便携）2 智能手环+移动设备+智能家居（缺点：复杂）3  麦克风+语音识别软件+移动设备+智能家居（优点便携）4 摄像头+分析软件+电脑+智能家居（根据监控视图人的动作分析简单动作输入，例如伸一个手指开灯，2个关灯。）（优点便携）

原创 时间序列知识

1 自回归模型2 长期趋势季节变动循环变动不规则变动3加法模型 乘法模式4平稳时间序列不平稳时间序列-》转化成平稳时间序列   arima 做差分--->arma模型 平稳时间序列白噪声 自回归(ar)滑动平均(ma)自回归滑动平均(arma)

原创 RDBMS性能扩展实践

1 数据量增大时，分布式，多实例共享2 读请求很多使用二级缓存，memcached3写请求增多取消2级节点，改变架构，原始的master/slaves改成cluster的，多个写入节点的解决方案支持或者升级master  16核128gRAM  15krpm硬盘驱动器的增强型服务器减少索引，改变设计4 需求变更，查询复杂，连接操作多数据冗余，

原创 hadoop生产实践

hadoop生产实践1 机器选项，廉价机器，普通PC，普通硬盘。尽量不使用虚拟化（可用性，没必要）。 2 不同node不能共用一个物理硬盘，3 内存,namenode 32g datanode 4g4 cpu,内存较高的服务器作为datanode可以考虑虚拟机，需做cpu能力/内存 测试 .但是不同的虚拟节点依然不能共用同一个物理硬盘，防止IO冲突。5 用dns代替hosts,

原创 Sas常用过程

1 sort过程例子：DATA SCORE;INPUT NUM $ S1-S3 @@;CLAS=SUBSTR(num,3,2);/* 用SUBSTR函数从NUM中截取出班级CLAS */TOT=SUM(OFS1-S3);CARDS;060101 79 9687 060102 69 78 92060203 98 8793 060104 88 93 9006

原创 hadoop2.0源码编译 错误及原因

1 编译 mvn clean install -Dmaven.test.skip=true错误[ERROR][ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.[ERROR] Re-run Maven using the -X switch to enable fu

原创 hbase开发者命令和API

1 shell command1.1CreateCreate 表名, 列族名1, 列族名2Create ‘test1’,’aa’,’bb’1.2 putput表名，行健, 列族：列名,值例子put 'test1','row1','aa:a','1'put 'test1','row1','aa:a1','3'put 'test1','row2','aa:a','3

原创 cascading 入门 （一）

1cascading是什么cascading是一个架构在Hadoop上的API，用来创建复杂和容错数据处理工作流。它抽象了集群拓扑结构和配置来快速开发复杂分布式的应用，而不用考虑背后的MapReduce。Cascading目前依赖于 Hadoop提供存储和执行架构，但是Cascading API为开发者隔离了Hadoop的技术细节，提供了不需要改变初始流程工作流定义就可以在不同的计算框架内

原创 mahout中的推荐 使用方法 解析

1 基本概念：user :用户item被推荐的项目或者内容2 推荐引擎分类2.1根据被推荐者分类：大众推荐引擎，个性化推荐引擎（ 针对个人用户）2.2根据推荐原理:Demographic-based（通过用户的相关性） ,Content-based Recommendation（通过内容的相关性），协同过滤推荐2.2.1基于用户统计学，例如根据用户性别，年龄，地址等分类分成

原创 avro 1.7.3入门

1 maven中使用   org.apache.avro  avro  1.7.3          org.apache.avro  avro-maven-plugin  1.7.3            generate-sources              schema                    ${

原创 hbase笔记

1 安装下载，解压配置hbase-env.sh java_home, HBASE_MANAGES_ZK:trueexport JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64export HBASE_MANAGES_ZK=truehbase-site.xml        h

翻译 Part III. Administrative Tasks

Part III. 管理任务目录5. 配置和初始化Heartbeat 5.1. The ha.cf file5.2. The authkeys file5.3. 传播到节点的集群配置 5.4. 启动 Heartbeat 服务 5.5. Where to go from here6. 升级 Heartbeat  6.1. 从  Heartbeat 2.1

原创 高性能数据库实践经验

1 数据量增大时分布式，多实例共享2 读请求很多使用二级缓存，memcached3写请求增多取消2级节点，改变架构，原始的master/slaves改成cluster的，多个写入节点的解决方案支持或者升级master  16核128gRAM  15krpm硬盘驱动器的增强型服务器减少索引，改变设计4 需求变更，查询复杂，连接操作多数据冗余

原创 mahout 创建向量问题There are too many documents that do not have a term vector

bin/mahout lucene.vector --dir /home/hadoop/index --output /user/hadoop/out/part-out.vec  --field title --idField id --dictOut /user/hadoop/out/dict.out --maxPercentErrorDocs 0.1 Exception i

转载 Random Forests

How to grow a Decision Treesource : [3]LearnUnprunedTree(X,Y)Input: X a matrix of R rows and M columns where Xij = the value of the j'th attribute in the i'th input datapoint. Each column

转载 Wikipedia Bayes Example

IntroThe Mahout Examples source comes with tools for classifying a Wikipedia data dump using either the Naive Bayes or Complementary Naive Bayes implementations in Mahout. The example (described b

翻译 mahout -传统朴素贝叶斯分类

Naive Bayes朴素贝叶斯Naive Bayes is an algorithm that can be used to classify objects into usually binary categories. It is one of the most common learning algorithms in spam filters. Despite its s

原创 SAS笔记之回归分析

1 相关分析1.1 成对 DATA A;INPUT x y @@;CARDS; 77 87 78 90 79 89 80 90 81 91 82 89 83 91 84 92 76 86 79 88PROC CORR;RUN;结果分析： 看P值，如果反之不相关 1.2 多元相关*ex10-2-2; DATA   corr;IN

转载 lucene API使用方法与和性能优化

1 lucene简介1.1 什么是luceneLucene是一个全文搜索框架，而不是应用产品。因此它并不像www.baidu.com 或者google Desktop那么拿来就能用，它只是提供了一种工具让你能实现这些产品。1.2 lucene能做什么要回答这个问题，先要了解lucene的本质。实际上lucene的功能很单一，说到底，就是你给它若干个字符串，然后它为你提供一个全文

原创 chukwa安装

1 下载 wget http://mirror.bit.edu.cn/apache/incubator/chukwa/chukwa-0.5.0/chukwa-incubating-0.5.0.tar.gz2 解压 tar -zxvf chukwa-incubating-0.5.0.tar.gz3设置环境变量export CHUKWA_HOME=/home/hadoop/chukwa-i

翻译 安装 Heartbeat

Part II. Installing HeartbeatTable of Contents3. 从源码安装 3.1. 从源码安装 Cluster Glue  3.1.1. Cluster Glue构建的前提条件3.1.2. 下载 Cluster Glue 源码3.1.3. 构建 Cluster Glue3.1.4. 构建其他包3.2.从源码安装 Cluster G

翻译 2.5. Non-blocking logging daemon

logd是 heatbeat 的日志守护程序，能够记录到系统日志守护进程，文件，或两者兼而有之。 LOGD从未组赛过，是因为发送消息远远慢于日志。一旦它能够再次输出消息 ，LOGD打印丢失的邮件数。队列的大小是可控的，既整体，每个应用程序的基础上。

翻译 2.4. IPC Library

2.4. IPC Library所有的进程间通信使用一个非常普遍的IPC库，它提供非阻止访问IPC使用一个灵活的排队策略，包括集成的流量控制。这个IPC API并不需要插座，但目前可用的实现使用UNIX域套接字（本地）。这个API还包括内置的身份验证和授权的对等进程，是最类似于POSIX的操作系统移植到。虽然不是必需的，这些API使用GLib的主循环，Heartbeat提供简单

翻译 2.3. Cluster Plumbing Library

2.3. Cluster Plumbing LibraryThe Cluster plumbing library 是一组有用的函数集，他是由 我们的主要模块提供的各种服务。一些主要的对象包括：The Cluster plumbing library is a collection of very useful functions which provide a varie

翻译 2.2. Cluster Consensus Membership

CCM为集群成员的服务提供强有力的链接，它确保了每个计算节点与其他节点的有效通讯。 CCM同时实现了OCF draft membership API和the SAF AIS membership API。通常情况下，它的成员间计算只需要亚秒级。补充：SAF AIS membership API  来源日志：http://blog.csdn.net/xrb66/article/det

翻译 Chapter 2. Components Prev Part I. Introduction to Heartbeatd

第一部分第二章Chapter 2. 组件目录2.1.通讯模块2.2.集群共识成员2.3. Cluster Plumbing Library2.4. IPC Library2.5.非阻塞日志守护进程  2.1。通讯模块 Heartbeat 消息层包括几个环环相扣，但不同的组件。2.1. Communication module

翻译 Chapter 1. Heartbeat as a Cluster Messaging Layer Prev Part I. Introduction to Heartbeat

第一章Heartbeat作为消息层第一部分 heartbeat的介绍Heartbeat 是一个为客户端提供基础设施服务（通信和成员）的守护进程。她让客户端知道在其他机器上的对等进程的存在或者消失，然后提供方便的信息交互。为了对用户更有用，  Heartbeat进程 需要和集群资源管理（启动和中止服务，例如IP地址，WEB服务器等等）整合，让集群服务器具有更高的可用性。一个和He

原创 mysql负载均衡 方案

原创 mysql cluster 配置与安装

1 mysql cluster MySQL Cluster是一种技术，使在无共享（shared-nothing）系统内存中的数据库集群。无共享（shared-nothing）的架构，使系统工作非常廉价的硬件，以最小的硬件或软件的具体要求。MySQL Cluster的设计不会有任何单点故障。预计在无共享（shared-nothing）的系统中，每个组件有自己的内存和磁盘，网络共享，网络文

翻译 hadoop 命令手册

概述常规选项用户命令archivedistcpfsfsckfetchdtjarjobpipesqueueversionCLASSNAMEclasspath管理命令balancerdaemonlogdatanodedfsadminmradminjobtrackernamenodesecondarynamenodetasktracker概述

原创 JAVA代码混淆-yguard ant配置

1 java classloader加载原理java程序入口是java.exe这部分内容可参考http://lz12366.iteye.com/blog/740470不同实现版本的jvm.dll必然存在一个名为：JNI_CreateJavaVM的导出函数， java.exe正是通过调用该函数获得JNIEnv调用接口来装载执行class类的。这个 函数也是我们