- 博客(16)
- 收藏
- 关注
RSS订阅原创 storm之 Storm 工作原理
Storm 工作原理 Storm简介 1.Storm是一套分布式的、可靠的，可容错的用于处理流式数据的系统。 2.Storm也是基于C/S架构来进行工作的,C负责将数据处理的方式的jar(Topology)发送给S,S解析C发送过来的jar(Topology)，并按一定规则jar变成多个Task((Spout/Bolt)),生成相关的进程和线程运行里面的Task。 相关述语说明: 1.Topolo...
2018-02-25 17:53:51
449
1
转载 MySql 官方存储引擎
存储引擎是为不同的表类型处理 SQL 操作的 MySql 组件。InnoDB 是默认的、最通用的存储引擎，也是官方推荐使用的存储引擎，除非一些特定案例。MySql 5.6 中的 CREATE TABLE 语句创建的表的存储引擎默认就是 InnoDB。MySql 服务器使用的是一个可插拔存储引擎架构，它能够在运行的时候动态加载或者卸载这些存储引擎。可以使用 SHOW ENGINES 语句来查看你的 ...
2018-02-25 11:27:24
196
原创 Cascaded Redo Transport Destinations --- 级联Redo 传送
以下说明基于oracle 11.2.0.2 版本，在之前的版本有有一些其他的限制。所谓的cascaded redo transport 是只从其他standby database上传送redo data。比如有1个主库A，2个备库：B，C。那么日志传送A--->B—>C。 这个就是Cascaded Redo Transport。一个cascaded standby database 可...
2018-02-25 11:24:50
246
原创 MOVE降低高水位 HWM
--创建实验表空间SQL> create tablespace andy03 datafile '/home/oracle/app/oradata/orcl/andy03.dbf' size 10M autoextend on next 30M; --创建实验数据SQL> create table andy03 tablespace andy03 as select * from ...
2018-02-25 11:24:00
261
原创 误删除$ORACLE_HOME/dbs下的参数文件、密码文件，如何快速重建
[oracle@11g dbs]$ pwd/home/oracle/app/oracle/product/11.2.0/dbhome_1/dbs[oracle@11g dbs]$ lltotal 24-rw-rw----. 1 oracle oinstall 1544 Mar 11 13:46 hc_orcl.dat-rw-r--r--. 1 oracle oinstall 2851 May 15...
2018-02-25 11:22:10
702
原创 Keepalived之 Keepalived 原理
1.Keepalived 定义 Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以利用其来避免单点故障。一个LVS服务会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候， 备份服务器就...
2018-02-25 11:21:45
272
原创 Hive之 hive-1.2.1 + hadoop 2.7.4 集群安装
一、 相关概念Hive Metastore有三种配置方式，分别是：Embedded Metastore Database (Derby) 内嵌模式Local Metastore Server 本地元存储Remote Metastore Server 远程元存储1.1 Metadata、Metastore作用metadata即元数据。元数据包含用Hive创建的database、tabel等的元信息。...
2018-02-25 11:21:12
840
原创 hbase之 Hbase shell 常用命令
下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录get '表名称', '行名称'查看表中的记录总数count '表名称'删除记录delete '表名' ,'行名称' , '列名称...
2018-02-25 11:20:43
1505
原创 spark之 spark 2.2.0 Standalone安装、wordCount演示
说明：前提安装好hadoop集群，可参考 http://blog.csdn.net/zhang123456456/article/details/77621487一、 scala 安装1、下载 scala 安装包 ：https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz2、上传 scala 安装包 [root@hadp...
2018-02-25 11:12:08
413
转载 hadoop之 Yarn 调度器Scheduler详解
概述 集群资源是非常有限的，在多用户、多任务环境下，需要有一个协调者，来保证在有限资源或业务约束下有序调度任务，YARN资源调度器就是这个协调者。 YARN调度器有多种实现，自带的调度器为Capacity Scheduler和Fair Scheduler。YARN资源调度器均实现Resource Scheduler接口，是一个插拔式组件，用户可以通过配置参数来使用不同的调度器，也可以自己按照接
2018-02-05 15:30:37
406
转载 Hadoop之 MapReducer工作过程
1. 从输入到输出 一个MapReducer作业经过了input，map，combine，reduce，output五个阶段，其中combine阶段并不一定发生，map输出的中间结果被分到reduce的过程成为shuffle（数据清洗）。 在shuffle阶段还会发生copy（复制）和sort（排序）。 在MapReduce的过程中，一个作业被分成Map和Reducer两
2018-02-05 11:41:21
715
1
原创 hadoop 配置文件简析
文件名称 格式 描述 hadoop-env.sh bash脚本 记录hadoop要用的环境变量 core-site.xml hadoop 配置 xml hadoop core 配置项，例如 HDFS 和 Mapreduce 常用的i/o 设置等 hdfs-si
2018-02-05 10:21:08
162
原创 hadoop之 reduce个数控制
1、参数变更 1.x 参数名 2.x 参数名 mapred.tasktracker.reduce.tasks.maximum mapreduce.tasktracker.reduce.tasks.maximum mapred.reduce.tasks
2018-02-03 20:01:38
1435
原创 hadoop之 map个数控制
hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先来看几个名词： block_size : hdfs的文件块大小，1.x默认为64M，2.x为1
2018-02-03 17:06:03
1409
原创 hadoop之 exceeds the limit of concurrent xcievers处理
dfs.datanode.max.transfer.threads： 默认 4096 解释：Specifies the maximum number of threads to use for transferring data in and out of the DN. 表示datanode上负责进行文件操作的线程数。如果需要处理的文件过多，而这个参数设置得过低就会有一部分文件处理不过
2018-02-01 11:37:05
659
原创 Hadoop之 Balancer平衡速度
1. dfs.datanode.max.transfer.threads 修改dfs.datanode.max.transfer.threads=4096 (如果运行HBase的话建议为16384)， 指定用于在DataNode间传输block数据的最大线程数，老版本的对应参数为dfs.datanode.max.xcievers。 2. dfs.datanode.balance.
2018-02-01 10:37:16
657
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人