Ambari系列
关注
分享
扫一扫
文章平均质量分 72
ambari系列介绍
zhangiongcolin
站点峰顶的人的故事都是励志故事，在半山腰摔下山的人的故事一样励志,他们也拼过，只不过失败罢了，
展开
-
003-Ambari一键自动化部署脚本
微信搜索公众号：BearData，关注更多内容。根据前两篇 “Ambari大数据平台搭建利器(一)&(二)”， 我们已经完成大数据平台的搭建，但是我们发现安装Ambari的步骤比较繁琐。我们发现手动部署存在以下的劣势：每个节点都要执行重复的命令，我们前两篇测试的节点只有三个，如果生产环境有上百个节点，这也是工作量比较大的一件事。 如果是基于项目的平台，如果有几十甚至上百个...原创 2018-08-10 20:43:40 · 3706 阅读 · 7 评论
-
018-Ambari集成Azkaban
Azkaban原创 2021-01-12 15:53:05 · 534 阅读 · 2 评论 -
021-Ambari集成Greenplum
本篇为大家介绍Ambari如何集成Greenplum扫描二维码，关注BearData一、Greenplum简介GreenPlum是面向数据仓库应用的关系型数据库，基于PostgreSQL开发，跟PostgreSQL的兼容性非常好，大部分PostgreSQL客户端工具及PostgreSQL应用都能运行在GreenPlum平台上。想要学习GreenPlum，可以先看一看PostgreSQL的资料。二、打包RPM1. 下载源码本次用的最新版本6.12.1下载地址 https://github.co原创 2021-01-10 14:39:25 · 759 阅读 · 3 评论 -
020-Ambari集成Galera cluster Mysql
本篇为大家介绍Ambari如何集成Galera cluster Mysql扫描二维码，关注BearData一、Galera Cluster简介Galera Cluster号称是世界上最先进的开源数据库集群方案主要优点及特性：真正的多主服务模式：多个服务能同时被读写，不像Fabric那样某些服务只能作备份用同步复制：无延迟复制，不会产生数据丢失热备用：当某台服务器当机后，备用服务器会自动接管，不会产生任何当机时间自动扩展节点：新增服务器时，不需手工复制数据库到新的节点支持InnoDB引擎原创 2021-01-10 14:32:12 · 330 阅读 · 3 评论 -
019-Ambari集成Grafana
本篇为大家介绍Ambari如何集成Prometheus扫描二维码，关注BearData一、Grafana简介Grafana是一款用Go语言开发的开源数据可视化工具，可以做数据监控和数据统计，带有告警功能。目前使用grafana的公司有很多，如paypal、ebay、intel等。1.1 七大特点①可视化：快速和灵活的客户端图形具有多种选项。面板插件为许多不同的方式可视化指标和日志。②报警：可视化地为最重要的指标定义警报规则。Grafana将持续评估它们，并发送通知。③通知：警报更改状态时，它原创 2021-01-10 14:22:07 · 1395 阅读 · 0 评论 -
017-Ambari集成Prometheus
Prometheus原创 2021-01-10 14:15:06 · 1138 阅读 · 1 评论 -
018-Ambari集成Nginx
Keepalived原创 2021-01-10 11:43:36 · 471 阅读 · 2 评论 -
016- Ambari集成Keepalived
Keepalived简介原创 2021-01-10 11:22:34 · 261 阅读 · 0 评论 -
014-Ambari功能介绍
本篇我们主要介绍Ambari的功能。关注微信公众号，获取最新内容我们登录进去后，首先看到的是主页在主页中，我们看到主要有，metrics,heatmaps,config history，用户信息，指标操作等等。在metrics中我们可以看到当前组件以及整个集群的统计信息，如系统的内存使用率，网络使用率以及CPU等。在右上角 "METRIC ACTIONS"中我们可以添加新的统计指标...原创 2018-10-31 16:03:25 · 7782 阅读 · 0 评论 -
013-Ambari二次开发之组件Tez，Hive，HBase，Spark编译
上一篇我们介绍了Zookeeper的编译，本篇我们将介绍HDP３.0.0版本栈中Kafka的编译。 关注公众号，获取最新内容HBase编译修改版本号sed -i “s/2.0.0.3.0.0.0-SNAPSHOT/2.0.0.3.0.0.0-1634/g” grep 2.0.0.3.0.0.0-SNAPSHOT -rl ./编译mvn -DskipTests -Dhadoop-t...原创 2018-10-31 15:53:45 · 1085 阅读 · 0 评论 -
012-Ambari二次开发之组件Zookeeper，Kafka，Hadoop编译
Zookeeper是大数据生态圈组件之间协调的基础组件。本篇我们开始编译基于HDP3.0版本栈的Zookeeper。关注微信公众号，获取更多内容Zookeeper编译安装ant，Zookeeper依赖于ANT编译，所以需要安装antyum install ant编译在这里我们指定的是HDP栈版本，3.4.6.3.0.0.0-1634，编译完的所有文件都在build目录下。ant ...原创 2018-10-31 15:50:02 · 971 阅读 · 1 评论 -
011-Ambari二次开发之组件编译概述
Ambari组件即大数据生态圈的组件，如Hadoop，Zookeeper，HBase，Hive，Spark，Kafka等。当我们业务需要修改源码时，我们需要重新编译打包组件。Ambari的组件包是以RPM包的形式存在的，并且Ambari组件包文件路径存放位置和原生方式安装是不同的，所以我们要重新打包Ambari组件包，首先要了解Ambari组件包的组成方式，或者想办法修改最小的部分。 关注...原创 2018-08-31 17:25:40 · 1479 阅读 · 0 评论 -
002-Ambari-大数据平台搭建利器(二)
微信搜索公众号：BearData，关注更多内容。接上一篇 "Ambari大数据平台搭建利器(一)”，本文将介绍如何安装Ambari以及大数据生态圈的组件。安装Ambari1. Ambari 默认数据是存储在PostgreSQL中，需要在安装server的机器上安装，当然也可以在安装server时指定其他数据库 安装PostgreSQL2. 安装Ambari serv...原创 2018-08-08 08:27:30 · 1196 阅读 · 0 评论 -
004-Ambari架构及源码结构分析
微信搜索公众号：BearData，关注更多内容。前几篇主要是从大体的方向介绍了Ambari，安装Ambari。本篇主要介绍Ambari的架构及源代码结构。基本概念1. Resource：Ambari把可以被管理的资源的抽象为一个Resource实例，资源可以包括服务、组件、主机节点等，一个resource实例包含了一系列该资源的属性2. Property：服务组件的指标名称...原创 2018-08-10 20:47:17 · 1947 阅读 · 0 评论 -
005-Ambari二次开发之源码编译
微信搜索公众号：BearData，关注更多内容。 编译Ambari源码的主要目的是有时我们修改了源码，需要将修改的内容打到包重，通过前面我们知道，Ambari最终的安装文件其实就两个RPM包，ambari-server和ambari-agent。基于上述，有些场景我们需要重新编译源码。Ambari2.6.2 源码github下载地址：https://github.com...原创 2018-08-10 20:49:18 · 1309 阅读 · 0 评论 -
006-Ambari二次开发之web环境搭建调试
当我们需要修改前端样式时，我们需要搭建web本地调试环境，本篇我们将介绍如何在本地搭建web开发环境。注：本篇操作是在Ubuntu下完成的。扫描二维码，关注BearData，获取最新文章 安装nodeJS 下载地址：https://nodejs.org/download/release/v0.10.44/node-v0.10.44-linux-x64.tar.gz 下载完后，...原创 2018-08-15 08:50:38 · 2135 阅读 · 2 评论 -
007-Ambari二次开发之栈名修改
在介绍如何修改栈名称之前，我们先要了解一下stack的相关概念及在什么情况下需要修改栈名称。 扫描二维码，关注BearData，获取最新文章 Ambari-stack 表示HDP的某个发行版本，例如HDP-1.0.0，在用ambari创建一个集群时，首先要通过调用restfulAPI设置stack版本 stack下包含一个或多个service，例如HDP-2.6.2下包括 ZOOK...原创 2018-08-24 08:19:49 · 1016 阅读 · 2 评论 -
008-Ambari二次开发之添加自定义组件Redis(一)
Ambari目前支持的组件有HDFS、YARN、HBase、Hive、Pig、ZooKeeper、Sqoop、Storm、Flume、Tez、Oozie、Falcon、Storm、Altas、Knox、Spark、Ranger、Mahout、Kerberos等，已经涵盖了从大数据应用的主要方面。但是随着实际业务的需要，我们可能需要增加新的组件或服务以满足实际业务的需求。如我们的web系统需要...原创 2018-08-24 08:24:58 · 4093 阅读 · 5 评论 -
009-Ambari二次开发之添加自定义组件Redis(二)
上一篇我们主要介绍了Ambari添加组件的答题流程并以REDIS为例说明了流程，本篇在上一篇的基础上，进一步完善说明流程并介绍如何给组件添加metric扫描二维码，关注BearData，获取最新文章 上篇中，我们已经制作出了redis的rpm包，并重新编译了我们修改后的Ambari源代码。我们将打出的RPM包拷贝到我们之前建的HDP的源中，并执行createrepo –update更新源...原创 2018-08-24 08:27:52 · 1487 阅读 · 0 评论 -
010-Ambari2.7.0&HDP3.0新版体验
最近Ambari发布了最新版本2.7.0，HDP栈版本为3.0.0。本篇我们先了解一下新版本的功能及安装体验。 Ambari2.7.0 New Feature 1. The Ambari UI, Ambari Server, and Ambari Agent have been significantly reworked to more efficiently handle large cl...原创 2018-08-31 17:18:55 · 4981 阅读 · 0 评论 -
001-Ambari-大数据平台搭建利器(一)
微信搜索公众号：BearData，关注更多内容。Ambari是Hortonworks开源的大数据生态圈的管理软件，具备大数据生态圈组件的安装、管理、运维等基本功能(官方未提供组件可以自己去集成)，提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。搭建大数据平台主要分为两部分，一部分是大数据平台管理系统搭建，即Ambari安装，另一部分通过Ambari安装大数据生态...原创 2018-07-29 10:12:01 · 2425 阅读 · 0 评论