- 博客(33)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 021-Ambari集成Greenplum
本篇为大家介绍Ambari如何集成Greenplum扫描二维码，关注BearData一、Greenplum简介GreenPlum是面向数据仓库应用的关系型数据库，基于PostgreSQL开发，跟PostgreSQL的兼容性非常好，大部分PostgreSQL客户端工具及PostgreSQL应用都能运行在GreenPlum平台上。想要学习GreenPlum，可以先看一看PostgreSQL的资料。二、打包RPM1. 下载源码本次用的最新版本6.12.1下载地址 https://github.co
2021-01-10 14:39:25
720
3
原创 020-Ambari集成Galera cluster Mysql
本篇为大家介绍Ambari如何集成Galera cluster Mysql扫描二维码，关注BearData一、Galera Cluster简介Galera Cluster号称是世界上最先进的开源数据库集群方案主要优点及特性：真正的多主服务模式：多个服务能同时被读写，不像Fabric那样某些服务只能作备份用同步复制：无延迟复制，不会产生数据丢失热备用：当某台服务器当机后，备用服务器会自动接管，不会产生任何当机时间自动扩展节点：新增服务器时，不需手工复制数据库到新的节点支持InnoDB引擎
2021-01-10 14:32:12
306
3
原创 019-Ambari集成Grafana
本篇为大家介绍Ambari如何集成Prometheus扫描二维码，关注BearData一、Grafana简介Grafana是一款用Go语言开发的开源数据可视化工具，可以做数据监控和数据统计，带有告警功能。目前使用grafana的公司有很多，如paypal、ebay、intel等。1.1 七大特点①可视化：快速和灵活的客户端图形具有多种选项。面板插件为许多不同的方式可视化指标和日志。②报警：可视化地为最重要的指标定义警报规则。Grafana将持续评估它们，并发送通知。③通知：警报更改状态时，它
2021-01-10 14:22:07
1294
原创 【007】- Django Rest API简介
本篇接上篇内容，我们学习Django视图。学习之前，我们首先声明，我们主要以目前比较流行的前后端分离思想为主。本篇只是进行一个演示，后续我们将会介绍专门的Rest API方式—Rest Framework。在前面我们在models.py中定义了两个模型类，分别为User和Roleclass User(models.Model): """ 用户模型类 """ SEX_CHOICE...
2020-02-25 15:34:17
323
原创 【006】- Django模型数据操作(二)
接上篇内容，本篇我们继续介绍Django模型数据操作。聚合函数使用aggregate()过滤器调用聚合函数。聚合函数包括：Avg，Count，Max，Min，Sum，被定义在django.db.models中。aggragate返回的是一个字典类型，格式如：{‘聚合类小写__属性名’:值}查询用户的平均年龄from beardata_sys.models import Userfrom ...
2020-02-24 15:25:17
169
原创 【005】- Django模型数据操作(一)
接上一篇内容，本篇我们将介绍模型查询相关的知识。本篇以前面介绍的User表和Role表进行说明。数据添加数据添加的途径主要有三种，一种是通过后台管理界面添加，一种是通过数据库添加，还有一种是通过Django提供的模型操作对象添加。在这里我们主要以第三种方式为主。为了演示方便，我们打开数据库日志，在my.cnf中打开以下注释general_log = 3general_log_file =...
2020-02-23 21:59:12
185
原创 【004】- Django模型定义
模型是有关数据的唯一确定的信息源。 它包含你要存储的数据的基本字段和行为。 通常，每个模型都映射到单个数据库表。特点每个模型都是继承自 django.db.models.Model 的子类模型中每个属性表示数据库中每个字段Django为我们提供了自动访问数据库的API属性定义Django会为表创建自动增长的主键列，每个模型只能有一个主键列，如果使用选项设置某属性为主键列后Djang...
2020-02-23 11:04:21
446
原创 【003】- Django模型/数据库配置/站点管理简介
接上一篇内容，在这篇中我们将介绍Django中数据库的配置，模型以及站点管理。在Django中内嵌了ORM框架，我们不需要直接面向数据库编程，而是定义模型类，通过模型类和对象完成数据表的增删改查操作。使用django进行数据库开发的步骤如下：1.在models.py中定义模型类2.迁移3.通过类和对象完成数据增删改查操作模型创建在beardata_sys/models.py中定义Us...
2020-02-22 16:05:17
252
原创 【001】- Python虚拟环境搭建
简介python 的虚拟环境可以为一个 python 项目提供独立的解释环境、依赖包等资源，既能够很好的隔离不同项目使用不同 python 版本带来的冲突，而且还能方便项目的发布。virtualenv安装python3pip3 install virtualenvpython2pip install virtualenv创建虚拟环境virtualenv -p pyth...
2020-02-21 21:11:43
292
原创 【004】- Kafka技术内幕之Producer Interceptor(拦截器)
Producer拦截器(Interceptor)是在kafka0.10版本被引入的，主要用于实现clients端（包括生产和消费）的定制化控制逻辑。对Producer来说，interceptor使得用户在消息发送前以及Producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息。同时，Porducer允许用户指定多个interceptor按序作用于同一条消息上，从而形成一个拦截链。 ...
2018-11-07 10:27:40
994
原创 【003】- Kafka技术内幕之Producer Partition(分区)
我们在前面提到过，kafka的topic是个逻辑概念，实际处理消息处理的是topic的partition。本篇我们将介绍kafka消息发送时是如何分区的以及如何自定义分区。关注微信公众号，获取更多内容一. 默认分区kafka在发送消息时，有两个参数，一个是key,一个是value，key是跟分区相关的，表示该消息应该发送到哪个分区上。当我们在发送消息时，如果不指定key,则kafka内部默...
2018-11-07 10:20:39
1396
原创 【002】- Kafka技术内幕之Producer(生产者)概述
通过上一篇我们基本了解了Kafka的相关概念，本篇我们将介绍Kafka的Producer。 最新版本的生产者程序使用KafkaProducer对象代表一个生产者的客户端进程。生产者要发送消息，并不是直接发送给服务端，而是先在客户端把消息放入队列中，然后由一个消息发送线程从队列中拉取消息，以批量的方式发送消息给服务器。在Kafka中，RecordAccumulator负责缓存生产者客户端的...
2018-11-07 10:15:36
302
原创 【001】- Kafka技术内幕之概述
本篇我们将介绍kafka的一些概念及简单的使用案例。关注微信公众号，获取更多内容一. 简介在kafka0.10之前，kafka仅仅是一个消息系统，负责消息的发送与接收，解决应用解耦、异步消息、高流量问题。但在0.10之后kafka提供了流处理和连接器的功能，它也从分布消息系统逐渐转变为流式处理平台。一个流处理平台应该包含以下单个主要的特性：(1). 发布订阅消息事件流的记录，类似于消...
2018-11-07 10:13:37
264
原创 014-Ambari功能介绍
本篇我们主要介绍Ambari的功能。关注微信公众号，获取最新内容我们登录进去后，首先看到的是主页在主页中，我们看到主要有，metrics,heatmaps,config history，用户信息，指标操作等等。在metrics中我们可以看到当前组件以及整个集群的统计信息，如系统的内存使用率，网络使用率以及CPU等。在右上角 "METRIC ACTIONS"中我们可以添加新的统计指标...
2018-10-31 16:03:25
7641
原创 013-Ambari二次开发之组件Tez，Hive，HBase，Spark编译
上一篇我们介绍了Zookeeper的编译，本篇我们将介绍HDP３.0.0版本栈中Kafka的编译。 关注公众号，获取最新内容HBase编译修改版本号sed -i “s/2.0.0.3.0.0.0-SNAPSHOT/2.0.0.3.0.0.0-1634/g” grep 2.0.0.3.0.0.0-SNAPSHOT -rl ./编译mvn -DskipTests -Dhadoop-t...
2018-10-31 15:53:45
1050
原创 012-Ambari二次开发之组件Zookeeper，Kafka，Hadoop编译
Zookeeper是大数据生态圈组件之间协调的基础组件。本篇我们开始编译基于HDP3.0版本栈的Zookeeper。关注微信公众号，获取更多内容Zookeeper编译安装ant，Zookeeper依赖于ANT编译，所以需要安装antyum install ant编译在这里我们指定的是HDP栈版本，3.4.6.3.0.0.0-1634，编译完的所有文件都在build目录下。ant ...
2018-10-31 15:50:02
916
1
原创 011-Ambari二次开发之组件编译概述
Ambari组件即大数据生态圈的组件，如Hadoop，Zookeeper，HBase，Hive，Spark，Kafka等。当我们业务需要修改源码时，我们需要重新编译打包组件。Ambari的组件包是以RPM包的形式存在的，并且Ambari组件包文件路径存放位置和原生方式安装是不同的，所以我们要重新打包Ambari组件包，首先要了解Ambari组件包的组成方式，或者想办法修改最小的部分。 关注...
2018-08-31 17:25:40
1430
原创 010-Ambari2.7.0&HDP3.0新版体验
最近Ambari发布了最新版本2.7.0，HDP栈版本为3.0.0。本篇我们先了解一下新版本的功能及安装体验。 Ambari2.7.0 New Feature 1. The Ambari UI, Ambari Server, and Ambari Agent have been significantly reworked to more efficiently handle large cl...
2018-08-31 17:18:55
4949
原创 009-Ambari二次开发之添加自定义组件Redis(二)
上一篇我们主要介绍了Ambari添加组件的答题流程并以REDIS为例说明了流程，本篇在上一篇的基础上，进一步完善说明流程并介绍如何给组件添加metric扫描二维码，关注BearData，获取最新文章 上篇中，我们已经制作出了redis的rpm包，并重新编译了我们修改后的Ambari源代码。我们将打出的RPM包拷贝到我们之前建的HDP的源中，并执行createrepo –update更新源...
2018-08-24 08:27:52
1434
原创 008-Ambari二次开发之添加自定义组件Redis(一)
Ambari目前支持的组件有HDFS、YARN、HBase、Hive、Pig、ZooKeeper、Sqoop、Storm、Flume、Tez、Oozie、Falcon、Storm、Altas、Knox、Spark、Ranger、Mahout、Kerberos等，已经涵盖了从大数据应用的主要方面。但是随着实际业务的需要，我们可能需要增加新的组件或服务以满足实际业务的需求。如我们的web系统需要...
2018-08-24 08:24:58
3977
5
原创 007-Ambari二次开发之栈名修改
在介绍如何修改栈名称之前，我们先要了解一下stack的相关概念及在什么情况下需要修改栈名称。 扫描二维码，关注BearData，获取最新文章 Ambari-stack 表示HDP的某个发行版本，例如HDP-1.0.0，在用ambari创建一个集群时，首先要通过调用restfulAPI设置stack版本 stack下包含一个或多个service，例如HDP-2.6.2下包括 ZOOK...
2018-08-24 08:19:49
980
2
原创 006-Ambari二次开发之web环境搭建调试
当我们需要修改前端样式时，我们需要搭建web本地调试环境，本篇我们将介绍如何在本地搭建web开发环境。注：本篇操作是在Ubuntu下完成的。扫描二维码，关注BearData，获取最新文章 安装nodeJS 下载地址：https://nodejs.org/download/release/v0.10.44/node-v0.10.44-linux-x64.tar.gz 下载完后，...
2018-08-15 08:50:38
2085
2
原创 005-Ambari二次开发之源码编译
微信搜索公众号：BearData，关注更多内容。 编译Ambari源码的主要目的是有时我们修改了源码，需要将修改的内容打到包重，通过前面我们知道，Ambari最终的安装文件其实就两个RPM包，ambari-server和ambari-agent。基于上述，有些场景我们需要重新编译源码。Ambari2.6.2 源码github下载地址：https://github.com...
2018-08-10 20:49:18
1272
原创 004-Ambari架构及源码结构分析
微信搜索公众号：BearData，关注更多内容。前几篇主要是从大体的方向介绍了Ambari，安装Ambari。本篇主要介绍Ambari的架构及源代码结构。基本概念1. Resource：Ambari把可以被管理的资源的抽象为一个Resource实例，资源可以包括服务、组件、主机节点等，一个resource实例包含了一系列该资源的属性2. Property：服务组件的指标名称...
2018-08-10 20:47:17
1903
原创 003-Ambari一键自动化部署脚本
微信搜索公众号：BearData，关注更多内容。根据前两篇 “Ambari大数据平台搭建利器(一)&(二)”， 我们已经完成大数据平台的搭建，但是我们发现安装Ambari的步骤比较繁琐。我们发现手动部署存在以下的劣势：每个节点都要执行重复的命令，我们前两篇测试的节点只有三个，如果生产环境有上百个节点，这也是工作量比较大的一件事。 如果是基于项目的平台，如果有几十甚至上百个...
2018-08-10 20:43:40
3643
7
原创 002-Ambari-大数据平台搭建利器(二)
微信搜索公众号：BearData，关注更多内容。接上一篇 "Ambari大数据平台搭建利器(一)”，本文将介绍如何安装Ambari以及大数据生态圈的组件。安装Ambari1. Ambari 默认数据是存储在PostgreSQL中，需要在安装server的机器上安装，当然也可以在安装server时指定其他数据库 安装PostgreSQL2. 安装Ambari serv...
2018-08-08 08:27:30
1164
原创 001-Ambari-大数据平台搭建利器(一)
微信搜索公众号：BearData，关注更多内容。Ambari是Hortonworks开源的大数据生态圈的管理软件，具备大数据生态圈组件的安装、管理、运维等基本功能(官方未提供组件可以自己去集成)，提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。搭建大数据平台主要分为两部分，一部分是大数据平台管理系统搭建，即Ambari安装，另一部分通过Ambari安装大数据生态...
2018-07-29 10:12:01
2389
原创 Windows中提升程序运行权限
Windows中提升程序运行权限 程序运行权限问题一直是令我很头疼的问题，随着Windows版本越来越高，对权限的控制也越来越严格。把以前解决权限的方式总结一下： 1.将你要运行程序的名字改为：Setup.exe(大小写无关）。 这种方式的前提是你的程序最终生成的是一个.exe文件。这种提高权限的原因是：Windows默认会将带有setup字样的运行程序认为是无风险的程序
2013-10-10 09:44:56
2817
Windows编程中提高程序的运行权限
2013-06-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人