- 博客(15)
- 资源 (1)
- 收藏
- 关注
原创 elasticsearch 运维记录
目录 (elasticsearch 基础知识汇总)索引分片 从策略层面控制分片分配的选择move 指令节点下线冷热数据的读写分离集群自动发现API 接口数据写入数据读取数据删除数据更新搜索请求集群健康状态level 请求参数节点状态监控接口GC垃圾回收索引分片: 从策略层面,控制分片分配的选择磁盘限额 为了保护节点数据安全,ES 会定时(cluster.info.up
2016-12-30 17:23:16 7474
原创 Logstash -- Nginx 日志收集处理!
Nginx 日志收集示例一:Logstash 默认自带了 apache 标准日志的 grok 正则:COMMONAPACHELOG %{IPORHOST:clientip} %{USER:ident} %{NOTSPACE:auth} \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:htt
2016-12-30 11:23:38 9587 2
转载 ElsaticSearch 2.3 Dockerfile 解析
ElsaticSearch 2.3 Dockerfile 解析查看作者原文 Github地址 Docker HubDockerfile# 使用Dockerhu的java:8-jre作为基础镜像,elashticsearch依赖于jdk7以上版本FROM java:8-jre# elashticsearch不能用root用户运行,所以安装gosu.用法: ./gosu user-spec com
2016-12-30 11:04:09 512
原创 Docker 集群监控平台---cAdvisor-InfluxDB-Grafana
目录目录基础概念cAdvisorInfluxDBGrafana镜像列表启动脚本influxdb 设置cAdvisorGrafana 图形配置示例图请右键打开新标签查看原图参考链接基础概念cAdvisor cAdvisor 为Docker容器用户提供了了解运行时容器资源使用和性能特征的工具。cAdvisor的容器抽象基于Google的lmctfy容器栈,因此原生支持Docker
2016-12-29 18:32:49 1181
原创 docker 基础安装配置以及swarm 基本操作使用
1 系统安装并初始化2 IP 及主机名 配置3 配置ssh免密码登录安装Docker以及初始配置1 安装Docker 所有主机操作相同 2 查看Docker是否安装成功3 修改docker的配置文件并启动- Daocloud 镜像加速器
2016-12-29 14:17:02 3135
原创 Spark 分布式集群配置示例
本文概述:Hadoop 2.6.5 版本, 需要事先配置好Hadoop的分布式集群环境如果没有配置好Hadoop的分布式集群环境,请点击查看 Hadoop分布式集群安装配置教程spark 版本 spark-2.0.2-bin-hadoop2.6统一使用hadoop 用户并给予 sudo 授权
2016-12-26 18:55:07 432
原创 Spark 安装配置及基本操作示例
简介:Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
2016-12-26 17:26:47 570
原创 Zookeeper基础安装--伪分布式集群配置
Apache ZooKeeper™简介Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来,现在已经成为了 Apache 的顶级项目。Zookeeper 为分布式系统提供了高效可靠且易于使用的协同服务,它可以为分布式应用提供相当多的服务,诸如统一命名服务,配置管理,状态同步和组服务等。Zookeeper 接口简单,开发人员不必过多地纠结在分布式系统
2016-12-26 15:47:12 602
原创 Hadoop HA 高可用平台配置实例
概述Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;
2016-12-24 12:56:45 528
原创 企业级Docker私有仓库Harbor管理平台构建示例
Harbor: 著名虚拟化厂商VMware开源的docker仓库平台解决方案! - 项目下载地址 - 安装Docker 以及 docker-compose [参考官网]由于所需要的镜像较多,在下载镜像之前建议大家配置加速器,推荐大家使用Daocloud提供的加速器
2016-12-13 14:51:09 646
原创 kubernetes基础入门之-配置kubernetes skyDNS服务
部署kubernetes skyDNSkubernetes可以为pod提供dns内部域名解析服务。其主要作用是为pod提供可以直接通过service的名字解析为对应service的ip的功能!
2016-12-13 14:49:08 1047
原创 kubernetes基础入门之-安装部署配置示例
简介:Kubernetes是Google开源的容器集群管理系统,其提供应用部署、维护、 扩展机制等功能,利用Kubernetes能方便地管理跨机器运行容器化的应用,其主要功能如下
2016-12-13 14:47:42 760
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人