- 博客(45)
- 收藏
- 关注
RSS订阅Spark 缓存管理-CacheManger彻底解密源码
Spark之所以非常出色是基于RDD构成了一体化、多元化计算核心，所以就需要在处理多范式的计算时不需要部署多个框架，只需要一个团队一个技术堆栈就可以了解决所有大数据的计算问题，相对来说在软件、硬件上团队的投入都会降低，产出确又会很高。 作为商业的本质属性来说：更低的成本，更高的产出永远都是对的，而且就目前来看当前Spark产能来说，虽然目前基于RDD上面有五大子框架，但其实Spa...
2016-02-18 19:23:29
237
从海量订单中利用Map Reduce获取Top N的较优算法实现应用程序
package com.dt.spark.topn;import java.io.IOException;import java.util.Arrays;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io....
2016-02-14 15:09:48
194
读源码剖析TaskScheduler运行内幕及本地性算法确定
一：通过Spark-shell运行程序来观察TaskScheduler内幕1，当我们启动Spark-shell本身的时候命令终端反馈回来的主要是ClientEndpoint和SparkDeploySchedulerBackend，这是因为此时还没有任何Job的触发，这是启动Application本身而已，所以主要就是实例化SparkContext并注册当前的应用程序给Master且从集群中获...
2016-02-13 19:52:10
145
原创 大数据计算前数据抽取（ETL）概述
ETL，Extraction-Transformation-Loading的缩写，即数据抽取（Extract）、转换（Transform）、装载（Load）的过程，它是构建数据仓库的重要环节。ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节。通常情况...
2016-02-13 00:10:52
4680
使用Eclipse基于Maven使用Java开发WordCount程序项目
1.前提条件 下载JavaEE Eclipse ，自带Maven 安装好JDK1.8 下载并配置了Hadoop 2.6.x 2.创建Maven Project 选择 Maven-archetype-quickstart 选项 将项目的 JRE换成 JDK1.8，点击编辑 选择 系统的1.8版本 配置POM文件，为了以...
2016-02-11 12:15:17
488
BPM jPDL 用户开发手册 3.2.3 (全文pdf)
最近太忙了，实在没有时间详细校稿，应大家要求，现在在将全文转为pdf格式。上传上来，但是内容仍有瑕疵，如有发现请回复邮件，谢谢各位 各位谅解！ 校了下内容，再发上来一个版本！ ...
2008-10-16 12:58:35
169
jBPM jPDL 用户开发手册 3.2.3 - 第24章
第24章 可插拨架构jBPM功能特性分裂成模块。每个模块都有一个定义和执行（运行时）部分。中心模块是图模块，由ProcessDefinition和ProcessInstance组成。流程定义包含一个图和流程实例表示的一个图执行。jBPM所有其他的功能特性被分组成可选的模块。可选的模块能够扩展图模块的额外特性，如上下文（流程变量）、任务管理、定时器等等。 图 24-1 可插拨架构在jBPM中...
2008-09-27 08:35:02
96
jBPM jPDL 用户开发手册 3.2.3 - 第23章
第23章 工作流的TDD文件23.1.工作流TDD介绍既然开发面向流程的软件和开发其他的软件没有什么区别，我们相信流程定义应该是容易测试的。本章显示如何使用纯jUnit而没有任何扩展来单元测试你创作的流程定义。开发周期应该尽可能的短。变化应使软件源代码立即可校验。更好的，不用任何中间的构建步骤。下面所给的例子将显示如何开发并测试jBPM流程而不需要中间的步骤。大多数流程定义的单元测试是执行...
2008-09-27 08:31:20
145
jBPM jPDL 用户开发手册 3.2.3 - 第22章
第22章 安全jBPM的安全属性还处于alpha阶段。本章归档了可插拨的认证和授权。那么框架的什么内容完成了，什么部分没有还完成呢。22.1. 要做的事在框架部分上，我们仍然需要在流程正在被执行时通过jbpm引擎定义一系列的被校验的权限。当前你能检查你自己的权限，但仍没有一个jbpm缺省权限的设置。只完成了一个缺省的认证实现。但预想了其他的认证实现。对于授权，预想了有许多的授权实现，但他们...
2008-09-27 08:30:28
114
jBPM jPDL 用户开发手册 3.2.3 - 第21章
第21章 jBPM流程定义语言（JPDL）JPDL指定一个XML模式和机制来打包所有的流程定义相关的文件进入一个流程包中。 21.1. 流程包流程包是一个zip文件。流程包中的中心文件是processdefinition.xml。在那个文件中的主要的信息是流程图。processdefinition.xml也包含关于动作和任务的信息。流程包也能包含其他的相关文件，例如类、任务的ui表单（ui-...
2008-09-27 08:27:21
193
jBPM jPDL 用户开发手册 3.2.3 - 第20章
第20章 业务流程仿真jBPM包含一个仿真组件，这个是jBPM业务流程仿真的杠杆。这个仿真组件文档还在开发中。关于仿真的属性和如何使用这个仿真的教程的信息在下面这个地址： http://www.camunda.com/jbpm_simulation/introduction.html。 这章jbpm有点不负责噢，so short!不过好像跟我无关噢！ opps!...
2008-09-23 09:04:30
123
jBPM jPDL 用户开发手册 3.2.3 - 第19章
第19章 日志日志的目标是保持追踪流程执行的历史。在运行时流程执行数据的改变、所有数据（delta's）被存储在日志中。本章所涉及的流程日志，不要同软件日志混淆。软件日志跟踪软件程序的执行（通常是为了除错）。流程日志跟踪流程实例的执行。流程日志信息有各种用例。最明示的是通过流程执行的参与人查询流程历史。另一个用例是业务活动监控（Business Activity Monitoring (...
2008-09-23 09:00:32
147
jBPM jPDL 用户开发手册 3.2.3 - 第18章
第18章 Web Services支持本章描述了jBPM jPDL中开箱即支持的web services。18.1. 调用jPDL Web ServicesjPDL中有一个WS子项目。这个子项目的目的是允许jPDL引擎作为一个web sevice被调用。当前的实现允许你从流程定义启动流程实例并提供一个运行实例触发器来继续他们的执行（execution）。它还不太精细，但还是能够作为实现更高...
2008-09-23 08:59:01
143
jBPM jPDL 用户开发手册 3.2.3 - 第17章
第17章 邮件支持本章描述了jBPM jPDL中随包发行的邮件支持。17.1. jPDL中的邮件从流程中发送邮件有四种指定的方式。17.1.1. 邮件动作邮件动作能够用来发送邮件而不是在流程图中显示一个节点。允许你在在流程的任何地方来指定动作，你可以像这样指定一个邮件动作：<mail actors="#{president}" subject="readmylips" ...
2008-09-23 08:57:54
143
jBPM jPDL 用户开发手册 3.2.3 - 第16章
第16章 商务日历本章描述了jBPM的商务日历。商务日历知道关于业务小时和用于任务和定时器的到期的计算。商务日历能够通过在基准日期（base datea）上加或减去一个持续时间（duration to）来计算到期日期。如果基准日期被忽略，那么会使用当前（'current'）日期。16.1. 到期日期正像提到的那样，到期日期是由持续时间（duration）和基准日期（base date）。如...
2008-09-23 08:22:41
131
jBPM jPDL 用户开发手册 3.2.3 - 第15章
第15章 异步连续15.1. 概念jBPM基于面向图的程序设计（GOP）。基本上，GOP指定一个能够处理并发执行路径的简单状态机。但在执行里算法被指定在GOP中，所有的状态转换在客户端线程的单个操作中完成。如果你不熟悉“第4章 面向图的程序设计”中定义的执行算法，请首先读下。缺省情况下，这个在客户端线程中执行状态转换是一个好的方案，因为它天生适合服务端事务。在一个事务中流程执行从一个等待状...
2008-09-23 08:20:45
146
原创 java中的精确商务计算
由于计算机在计算过程中的舍入关系，普通的计算和工程计算可能会出现计算不足够精确的情况，这种情况在这两种计算中也许是可以忍受的，但是在商务运算中就不可接受了，财务计算。//import org.zym.arithutil.Arith;public class FloatCalculation { /** * @param args */ public static v...
2008-09-22 16:34:16
120
原创 工作流之大局势
1. 从奴隶社会到封建后期工作流(WorkFlow)的概念是在现代信息系统的建设中逐步形成的，它有一个从局部到整体、从初级到高级、从简单到复杂、从奴隶社会到封建盛世的发展过程，按其发展历程，我们一般把它分为三个阶段:﹡ EDF(电子数据流)阶段EDF(电子数据流)阶段是工作流的奴隶社会阶段。此时的工作流在信息技术中的应用,仅着眼于利用信息技术减轻人们在流程中的计算强度,如设计一个流...
2008-09-22 08:49:40
126
jBPM jPDL 用户开发手册 3.2.3 - 第12章
第12章 任务分配jBPM的业务核心具有支持流程执行持久化的能力。这个属性对于任务管理和个人任务列表这种情况非常有用。jBPM允许指定一个软件片段去描述能够具有人员参与的等待状态任务的整个流程。12.1. 任务任务是流程定义的部分并且他们定义了在流程执行期间任务实例怎样被创建和分派。任务可以在流程节点（task-nodes）和流程定义（process-definition）。那样的话任务...
2008-09-12 15:06:45
265
别忘记做做电脑保健操（身体是革命的本钱）
现在工作压力越大越大，遇到问题急于处理时，凝神电脑的时间也间也越来越长： 动一下您的脖子，是不是有了响声。。。 耸一下您的双肩，是不是很酸很酸。。。 摸一下您握鼠标的手腕，是不是已经有了很厚的老茧。。。 抚一下您的脸，是不是表情很僵硬。。。。 同志们，抽点时间来保健下吧，身体健康了，才能更好的生活，更好的工作！！！ ...
2008-09-09 09:25:50
110
jBPM jPDL 用户开发手册 3.2.3 - 第14章
14章 定时器本章描述了jBPM如何和定时器工作一起工作。在流程的事件上，定时器能够被创建。当一个定时器到期时，一个动作能够被执行或一个事务能够被处理。14.1. 定时器最简单的指定一个定时器方式是通过在节点上增加一个定时器元素。<state name='catch crooks'> <timer name='reminder' due...
2008-09-04 13:02:20
96
jBPM jPDL 用户开发手册 3.2.3 - 第13章
第13章 文档管理这仍然是一个试验性的属性。为了使用这个属性，你需要取消hibernate.cfg.xml文件中的下列行的注释：<mapping resource="org/jbpm/context/exe/variableinstance/JcrNodeInstance.hbm.xml"/>jBPM的文档管理支持基于Java内容资料库（Java Conten...
2008-09-03 20:49:52
100
jBPM jPDL 用户开发手册 3.2.3 - 第11章
第11章 上下文上下文是关于流程变量的。流程变量是维护同流程实例相关信息的键值对。因为上下文必须在数据库中可以存储，所以使用了一些细小的限制。11.1. 访问变量org.jbpm.context.exe.ContextInstance服务于同流程变量一同工作的中心接口。你可以 serves ProcessInstance 像这样来获得ContextInstance：ProcessI...
2008-09-03 20:45:21
183
jBPM jPDL 用户开发手册 3.2.3 - 第10章
第10章流程建模10.1. 概述流程定义代表业务流程的正式规范并且基于有向图。图由节点和转换组成。图中的每个节点指定类型。节点类型定义运行时行为。一个流程定义绝对有一个开始状态。令牌（token）是一个执行路径。一个令牌是维护图中一个节点指针的运行时概念。流程实例是一个流程定义的执行。当一个流程实例被创建时，令牌为主执行路径创建。这个令牌叫做流程实例的根令牌并且它被放在流程定义的开始状态...
2008-09-02 12:42:29
177
恢复升级到windows sp3后桌面回收站丢失的方法
最近将操作系统从windows xp sp2升级到sp3后，桌面上的回收站图标，竟然丢失，无论使用什么方法也不能恢复回来。而且在定制桌面时也不见了那个复选框，如图：，此现象主要发生在vista上，但在sp3上也发生了此现象，可能是微软的什么经营策略吧！就如同去掉IE的设置图标一样的吧。 如何将已经丢失的图标恢复回来呢？ 请运行如下方法来恢复桌面的回收站图标 ...
2008-08-29 14:22:22
84
原创 翻译的进程可能要推后了 :-<
这段时间，我们部门刚从公司立下了一个新的项目，又要开始一个比较复杂和重要的项目周期了，前期分析与设计阶段可能会参与的较多，不会有太多的精力投入翻译了，这个进程可能要拖的更长时间了。 不过我还是会尽力的进行这一计划的，谢谢大家关注！ 同时也希望大家多多交流，一周进步！ ...
2008-08-27 20:17:57
80
jBPM jPDL 用户开发手册 - 第9章
第9章Java EE 应用服务器工具本章将描述jBPM提供的工具，它对Java EE基础架构起到一个杠杆的作用。9.1. EJB CommandServiceBean是一个无状态的会话bean，它在独立的jBPM上下文里通过调用它的execute方法执行jBPM命令。下表中总结了可定制的环境入口和资源。 名称类型描述JbpmCfgResource环境入口...
2008-08-24 06:24:57
288
原创 这年头做男人真不容易
在一个QQ空间中看到下面的这篇杂文，挺有意思的。 feeling....man! being a man 。。找个漂亮女人吧，太操心， 找个不漂亮的吧，不甘心； 光顾事业，人家说你没责任感， 光顾家，人家又说你没本事； 专一点吧，人家说你不成熟； 花心点吧，人家说骂你是禽兽； 有钱，人家说你是坏人， 没有钱，人家骂你窝囊废； 自己奋斗吧，等有钱了女友也老了， 让女人养吧，不如自宫练葵花...
2008-08-23 11:38:06
229
jBPM各版本及新手工具包下载地址
由于一些刚开始学习jBPM的朋友看文档时，一般会提到 jBPM starter's kit(新手工具包)这个件，但是在jBoss的网站上不提供下载的地址： 下在我提供一个地址，大家可以从上面下载jBPM的所有连续版本包,请点击：UK Mirror Service 如图： ...
2008-08-22 17:40:49
376
jBPM jPDL 用户开发手册 - 第8章
第8章 jBPM 数据库8.1. 切换后端数据库切换后端 JBoss jBPM是切实可行的。我们将使用PostgreSQL和MySQL作为示例走完这个流程。这个流程对于所有的其他支持的数据库都是相同的。对于这些大量支持的数据库、大量的驱动程序、hibernate配置文件和ANT构建文件在当前的jBPM发布的DB子项目中生成数据库创建脚本。如果你不能找到你要使用的数据库的这些文件的话，你应该首先...
2008-08-22 08:13:46
157
原创 制作可执行的JAR文件包及jar命令详解(记录下)
常常在网上看到有人询问：如何把 java 程序编译成 .exe 文件。通常回答只有两种，一种是制作一个可执行的 JAR 文件包，然后就可以像.chm 文档一样双击运行了；而另一种是使用 JET 来进行 编译。但是 JET 是要用钱买的，而且据说 JET 也不是能把所有的 Java 程序都编译成执行文件，性能也要打些折扣。所以，使用制作可执行 JAR 文件包的方法就是最佳选择了，何况它还能保...
2008-08-21 12:53:12
104
jBPM jPDL 用户开发手册 - 第7章
第7章持久化大多数的情况，jBPM用于维护流程的执行跨度很长时间（long time）。在这个语境下，“很长时间”意味着跨度几个事务。这个持久化的主要意图就是在等待状态期间存储流程执行。所以把流程执行当作一个状态机。在一个事务里，我们移动流程执行状态机从一个状态到另一个状态。流程定义能够被持久化以3种不同的形式：xml、java对象和jBPM数据库记录。执行（即运行时）信息和日志信息可以表示...
2008-08-20 17:24:05
224
jBPM jPDL 用户开发手册 - 第6章
第6章配置最简单的配置jBPM方式的通过将jbpm.cfg.xml配置文件放在类路径的根下。如果那个文件没有作为一个资源被发现的话，包含在jbpm库中的默认的最小配置将被使用。注意那个最小的配置不会有任何的持久化的配置。jBPM配置通过org.jbpm.JbpmConfiguration这一java类来表示。最简单的获得JbpmConfiguration的方法是使用单态实例方法JbpmCon...
2008-08-19 09:38:06
139
jBPM jPDL 用户开发手册 - 第5章
第5章部署jPDL是可嵌入式的BPM引擎，意味着你可以使用并嵌入jPDL库到你的java项目中，而不用再安装一个独立的产品然后再同它进行集成。它最关键的一个方面就是尽可能的最小化依赖性。本章将讨论jbpm库和他们的依赖关系。5.1 jBPM 库jbpm-jpdl.jar 是jpdl功能的核心库。jbpm-identity.jar是一个包含了身份组件的可选库，身份组件将在12.11 身份组...
2008-08-14 11:28:01
172
jBPM jPDL 用户开发手册3.2.3 - 第4章
第4章面向图的程序设计4.1. 介绍本章可以给出JBoss jBPM的明细单，完整的愿景概览、当前战略下的理念以及JBoss jBPM项目未来的方向。这一愿景和传统的取向相比有极大的不同。首先，我们相信复合流程（multiple process）语言。不同环境和不同目的要求他们自己特定的流程语言。其次，面向图形的程序设计是一个新的技术实现，这种技术实现是针对所有基于图的流程语言的基础。...
2008-08-13 08:25:44
218
关于迅雷与应用服务器80端口冲突的问题
今天偶然将Tomcat的端口改为 80 后，再启动服务器时，系统提示端口冲突，查找了半天，一开始开以为IIS启动了，后来使用cports这个工具来查看当前的本机端口使用情况，得到如下结果： 原来罪魁祸首竟然是迅雷，它怎么会占用这个标准端口呢，真的不理解？不管它了，现在我们打开它的“设置”将其进行修改，如图： 当然要避开标准端口和事实上的端口。常用端口一览表：1 ...
2008-08-12 16:34:04
606
jBPM jPDL 用户指南 (Version 3.2.3) - 第3章
第3章 教程本教程将向你展示使用jpdl构建基本流程及管理运行时执行的API的使用方法。教程的方式是解释一系列的例子，每个例子以特定的主题为焦点并包含大量的注释。这些例子在jBPM下载包的src/java.examples目录中也能找到。最好的学习方法就是创建一个项目并且在给定实例的基础上试着修改。 Eclipse用户首先要做的是：下载jbpm-3.0-[version].zi...
2008-08-11 23:16:54
208
jBPM jPDL 用户指南 (Version 3.2.3) - 第2章
第2章 正式开始本章将带你完成第一步，获得JBoss jBPM并给出立即开始运行基本的指南。2.1 下载包概述下面列出的是当前可用的不周的jBPM包。每个包都包含了一个或更多的可下载的文件。连同这些文件还有其内容的描述，如果是可以安装的话还会有相关的安装手册。下列被描述的所有的下载都可以在 Sourceforge jBPM 下载页面上找到。2.1.1. jPDL 3下载 jBPM jP...
2008-08-11 13:25:31
153
jBPM jPDL 用户指南 (Version 3.2.3) - 第1章
第1章 介绍jBoss jBPM是一个灵活、可扩展的流程语言框架。jPDL是建立在这个通用框架之上的一个流程语言。它使用直观的流程语言以图形化的方式来表示业务流程，使用术语任务、异步通讯等待状态、定时器、自动操作等。为了将这些操作绑定在一起，jPDL提供了强有力的、可扩展的流程控制机制。jPDL有一个具有最小的依赖性和尽可能简单易用的java库。但它也能被部署在高吞吐量极为...
2008-08-11 10:05:37
155
jBPM BPEL 服务编排（orchestration）语言
欢迎使用 jBPM BPEL 服务编排（orchestration）语言。BPEL 服务编排的流程语言。由于基于 OASIS 标准，所以它被工业上广泛接纳。通过WSDL接口进行松偶合集成、富流程构造、稳健的错误处理和被清晰定义的可扩展点都是它的突出的特点。BPEL允许系统集成商得到超出现有更多的价值。新服务能够被作为一个其他服务的功能快速的开发。使用XPath和XSLT能够直接将一个服务的...
2008-08-10 16:35:09
302
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人