021-Ambari集成Greenplum 本篇为大家介绍Ambari如何集成Greenplum扫描二维码，关注BearData一、Greenplum简介GreenPlum是面向数据仓库应用的关系型数据库，基于PostgreSQL开发，跟PostgreSQL的兼容性非常好，大部分PostgreSQL客户端工具及PostgreSQL应用都能运行在GreenPlum平台上。想要学习GreenPlum，可以先看一看PostgreSQL的资料。二、打包RPM1. 下载源码本次用的最新版本6.12.1下载地址 https://github.co
020-Ambari集成Galera cluster Mysql 本篇为大家介绍Ambari如何集成Galera cluster Mysql扫描二维码，关注BearData一、Galera Cluster简介Galera Cluster号称是世界上最先进的开源数据库集群方案主要优点及特性：真正的多主服务模式：多个服务能同时被读写，不像Fabric那样某些服务只能作备份用同步复制：无延迟复制，不会产生数据丢失热备用：当某台服务器当机后，备用服务器会自动接管，不会产生任何当机时间自动扩展节点：新增服务器时，不需手工复制数据库到新的节点支持InnoDB引擎
019-Ambari集成Grafana 本篇为大家介绍Ambari如何集成Prometheus扫描二维码，关注BearData一、Grafana简介Grafana是一款用Go语言开发的开源数据可视化工具，可以做数据监控和数据统计，带有告警功能。目前使用grafana的公司有很多，如paypal、ebay、intel等。1.1 七大特点①可视化：快速和灵活的客户端图形具有多种选项。面板插件为许多不同的方式可视化指标和日志。②报警：可视化地为最重要的指标定义警报规则。Grafana将持续评估它们，并发送通知。③通知：警报更改状态时，它
【007】- Django Rest API简介 本篇接上篇内容，我们学习Django视图。学习之前，我们首先声明，我们主要以目前比较流行的前后端分离思想为主。本篇只是进行一个演示，后续我们将会介绍专门的Rest API方式—Rest Framework。在前面我们在models.py中定义了两个模型类，分别为User和Roleclass User(models.Model): """ 用户模型类 """ SEX_CHOICE...
【006】- Django模型数据操作(二) 接上篇内容，本篇我们继续介绍Django模型数据操作。聚合函数使用aggregate()过滤器调用聚合函数。聚合函数包括：Avg，Count，Max，Min，Sum，被定义在django.db.models中。aggragate返回的是一个字典类型，格式如：{‘聚合类小写__属性名’:值}查询用户的平均年龄from beardata_sys.models import Userfrom ...
【005】- Django模型数据操作(一) 接上一篇内容，本篇我们将介绍模型查询相关的知识。本篇以前面介绍的User表和Role表进行说明。数据添加数据添加的途径主要有三种，一种是通过后台管理界面添加，一种是通过数据库添加，还有一种是通过Django提供的模型操作对象添加。在这里我们主要以第三种方式为主。为了演示方便，我们打开数据库日志，在my.cnf中打开以下注释general_log = 3general_log_file =...
【004】- Django模型定义 模型是有关数据的唯一确定的信息源。 它包含你要存储的数据的基本字段和行为。 通常，每个模型都映射到单个数据库表。特点每个模型都是继承自 django.db.models.Model 的子类模型中每个属性表示数据库中每个字段Django为我们提供了自动访问数据库的API属性定义Django会为表创建自动增长的主键列，每个模型只能有一个主键列，如果使用选项设置某属性为主键列后Djang...
【003】- Django模型/数据库配置/站点管理简介 接上一篇内容，在这篇中我们将介绍Django中数据库的配置，模型以及站点管理。在Django中内嵌了ORM框架，我们不需要直接面向数据库编程，而是定义模型类，通过模型类和对象完成数据表的增删改查操作。使用django进行数据库开发的步骤如下：1.在models.py中定义模型类2.迁移3.通过类和对象完成数据增删改查操作模型创建在beardata_sys/models.py中定义Us...
【001】- Python虚拟环境搭建 简介python 的虚拟环境可以为一个 python 项目提供独立的解释环境、依赖包等资源，既能够很好的隔离不同项目使用不同 python 版本带来的冲突，而且还能方便项目的发布。virtualenv安装python3pip3 install virtualenvpython2pip install virtualenv创建虚拟环境virtualenv -p pyth...
【004】- Kafka技术内幕之Producer Interceptor(拦截器) Producer拦截器(Interceptor)是在kafka0.10版本被引入的，主要用于实现clients端（包括生产和消费）的定制化控制逻辑。对Producer来说，interceptor使得用户在消息发送前以及Producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息。同时，Porducer允许用户指定多个interceptor按序作用于同一条消息上，从而形成一个拦截链。 ...
【003】- Kafka技术内幕之Producer Partition(分区) 我们在前面提到过，kafka的topic是个逻辑概念，实际处理消息处理的是topic的partition。本篇我们将介绍kafka消息发送时是如何分区的以及如何自定义分区。关注微信公众号，获取更多内容一. 默认分区kafka在发送消息时，有两个参数，一个是key,一个是value，key是跟分区相关的，表示该消息应该发送到哪个分区上。当我们在发送消息时，如果不指定key,则kafka内部默...
【002】- Kafka技术内幕之Producer(生产者)概述 通过上一篇我们基本了解了Kafka的相关概念，本篇我们将介绍Kafka的Producer。 最新版本的生产者程序使用KafkaProducer对象代表一个生产者的客户端进程。生产者要发送消息，并不是直接发送给服务端，而是先在客户端把消息放入队列中，然后由一个消息发送线程从队列中拉取消息，以批量的方式发送消息给服务器。在Kafka中，RecordAccumulator负责缓存生产者客户端的...
【002】- Kafka技术内幕之Producer(生产者)概述 通过上一篇我们基本了解了Kafka的相关概念，本篇我们将介绍Kafka的Producer。 最新版本的生产者程序使用KafkaProducer对象代表一个生产者的客户端进程。生产者要发送消息，并不是直接发送给服务端，而是先在客户端把消息放入队列中，然后由一个消息发送线程从队列中拉取消息，以批量的方式发送消息给服务器。在Kafka中，RecordAccumulator负责缓存生产者客户端的...
【001】- Kafka技术内幕之概述 本篇我们将介绍kafka的一些概念及简单的使用案例。关注微信公众号，获取更多内容一. 简介在kafka0.10之前，kafka仅仅是一个消息系统，负责消息的发送与接收，解决应用解耦、异步消息、高流量问题。但在0.10之后kafka提供了流处理和连接器的功能，它也从分布消息系统逐渐转变为流式处理平台。一个流处理平台应该包含以下单个主要的特性：(1). 发布订阅消息事件流的记录，类似于消...
014-Ambari功能介绍 本篇我们主要介绍Ambari的功能。关注微信公众号，获取最新内容我们登录进去后，首先看到的是主页在主页中，我们看到主要有，metrics,heatmaps,config history，用户信息，指标操作等等。在metrics中我们可以看到当前组件以及整个集群的统计信息，如系统的内存使用率，网络使用率以及CPU等。在右上角 "METRIC ACTIONS"中我们可以添加新的统计指标...
关注
