Azkaban
Gloria_bing
hadoop,java,爬虫,视频地址破解,视频,redis,产品设计分析
展开
-
Azkaban成功搭建环境的过程
1、先将下载下来2、将压缩包上传到hadoop的NameNode上3、用tar xvf azkaban-0.10.tar.gz解压4、设置HADOOP_HOME环境变量:export HADOOP_HOME=:$HADOOP_HOME:/home/hadoop/azkaban-0.10/test/jobs 为azkaban解压到的绝对路径5、进入到azkaba原创 2013-03-27 16:37:11 · 3925 阅读 · 4 评论 -
Azkaban源码阅读之AzkabanApplication
Azkaban是一个Hadoop批处理调度器,可以通过访问其前台展示页面来进行部署、运行job等操作。//IndexServlet.java @Override protected void doPost(HttpServletRequest req, HttpServletResponse resp) throws ServletEx原创 2013-03-26 15:25:41 · 2273 阅读 · 0 评论 -
Azkaban源码阅读之CachingFlowManager
CachingFlowManager这部分为Azkaban在管理job中cache管理这一部分。 public CachingFlowManager(FlowManager baseManager, final int cacheSize) { this.baseManager = baseManager; this.flowCache原创 2013-03-26 16:27:18 · 1765 阅读 · 0 评论 -
Azkaban文档
这个文档假定你已经通过quit start部分了解Azkaban的基础的部分Jobs和配置 Azkaban jobs是主要的代码加上配置的值。配置是按照的格式存储在属性文件当中的。这些job文件可以通过手动编写文本文件创建或者通过用户界面进行创建。许多配置参数都是你的job的自定义配置,但是也有许多可以激活job功能的标准参数。这些参数将会在下面的部分进行描述说明。a翻译 2013-03-25 10:49:27 · 5430 阅读 · 1 评论 -
Azkaban的快速搭建
一、独立部署通过以下命令来启动Azkaban:注: 这个部分为绝对路径然后即可用浏览器访问http://localhost:8081 (若将azkaban部署到服务器上,则 localhost为服务器的IP地址)二、在Tomcat中部署在解压缩后的dist目录下有一个预置的war文件。这个文件可以使用标准方法在Tomcat或任何servlet容器翻译 2013-03-14 18:51:32 · 4356 阅读 · 0 评论 -
Azkaban2配置过程
Azkaban2配置过程azkaban2所需环境:jdk1.6、ant、jetty、hadoop、ssl证书通过http://azkaban.github.io/azkaban2/downloads.html下载 一、JDK1.6安装,并配置环境变量二、Jetty配置1、下载jetty的tar包,并将其解压到/etc/目录下2、设置JETTY_HOME环境变量三原创 2013-10-07 20:41:36 · 3932 阅读 · 4 评论 -
Azkaban2官方配置文档
最近工作实在是太忙了,我把之前翻译的官方的文档先放上来吧,希望对大家有所帮助~介绍Azkaban2新功能:1、Web UI2、简单工作流上传3、更容易设置job的依赖关系4、调度工作流5、权限设置6、Kill和restart工作流7、模块化和插件化8、日志和设计工作流和job搭建Azkaban2是相当容易搭建的,尽管它比azkaban要进行更多的插件原创 2013-10-07 20:24:59 · 4481 阅读 · 0 评论