- 博客(17)
- 收藏
- 关注
RSS订阅原创 HBase-1
HBase-11、详述hbase的架构Client:包含访问HBase的接口并维护cache来加快对HBase的访问Zookeeper:保证集群中只有一个活跃master,存储所有Region的寻址入口，实时监控Region server的上线和下线信息并实时通知Master存储HBase的schema和table元数据。HMaster：为Region server分配region，负责R...
2019-07-02 20:58:00
182
原创 Hive2
Hive21、hive中有哪些类型的hive参数hive当中的参数、变量，都是以命名空间开头命名空间读写权限含义hiveconf可读写hive-site.xml当中的各配置变量例：hive --hiveconf hive.cli.print.header=truesystem可读写系统变量，包含JVM运行参数等例：system:user.name=root...
2019-06-29 11:35:07
371
原创 Hive1
Hive11、实现struct例子(1)创建学生struct表create table student (id int, info struct<name:string, age:int>) row format delimited fields terminated by ',' collection items te...
2019-06-29 11:33:35
242
原创 storm3
storm3电信项目中flume的作用是什么？列出常见的flume的操作 Flume是一个分布式，可扩展，可靠，高可用的海量日志有效聚合及移动的框架。它通常用于log数据的收集，支持在系统中定制各类数据发送方，用于收集数据。它具有可靠性和容错可调机制和许多故障转移和恢复机制。 flume的运行核心是agent。它是一个完整的数据收集工具，含有三个核心组件，分别是source、channe...
2019-06-29 11:31:58
261
原创 storm2
Storm2storm如何保障消息的完全处理？ Storm可以保证从Spout发出的每个消息都能被完全处理。Storm的可靠性机制是完全分布式的(distributed)，可伸缩的(scalable)，容错的(fault-tolerant)。 一条消息被完整处理是指一个从Spout发出的元组所触发的消息树中所有的消息都被Storm处理了，从Spout中发出的Tuple，以及基于他所产生T...
2019-06-25 21:21:21
349
原创 storm
storm Storm是一个分布式、高容错、高可靠性的实时计算系统，它对于实时计算的意义相当于Hadoop对于批处理的意义。Hadoop提供了Map和Reduce原语。同样，Storm也对数据的实时处理提供了简单的spout和bolt原语。 Storm集群表面上看和Hadoop集群非常像，但Hadoop上面运行的是MapReduce的Job，而Storm上面运行的是topology(拓扑)...
2019-06-24 21:02:36
282
原创 Lucene和elasticsearch
Lucene和elasticsearchLucene定义 Lucene是一个全文搜索框架，本质是给搜索内容定位。 Lucene是一个高性能、可伸缩的信息搜索(IR)库。它可以为你的应用程序添加索引和搜索能力。Lucene是用java实现的、成熟的开源项目，是著名的Apache Jakarta大家庭的一员，并且基于Apache软件许可 [ASF, License]。同样，Lucene是当前...
2019-06-21 20:42:27
2354
原创 zookeeper
大数据zookeeper1、结合zookeeper详细说明CAP定理 分布式领域中存在CAP理论，且该理论已被证明：任何分布式系统只可同时满足两点，无法三者兼顾。因此P是必须的,往往选择就在CP或者AP中。 C：Consistency，一致性，数据一致更新，所有数据变动都是同步的。 A：Availability，可用性，系统具有好的响应性能。 P：Partition tolera...
2019-06-20 20:50:41
161
原创 redis
大数据redis1、redis五种数据类型操作，重点是string类型和hash类型 Redis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及sorted set(有序集合)。1、string（字符串） Redis字符串是二进制安全的，一个Redis字符串能包含任意类型的数据。例如： 一张JPEG格式的图片或者一个序列化的Ruby对象。一...
2019-06-20 20:49:24
121
原创 MapReduce
大数据day08MapReduce MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成...
2019-06-14 10:01:40
440
原创 HDFS基本命令行操作
大数据day07HDFS基本命令行操作显示目录信息：[root@hadoop001 hadoop-2.6.5]# hadoop fs -ls /显示多级目录：[root@hadoop001 hadoop-2.6.5]# hadoop fs -ls -R /创建多级目录：[root@hadoop001 hadoop-2.6.5]# hadoop fs -mkdir -p /aaa/bb...
2019-06-13 21:47:28
924
原创 hadoop
大数据day06hadoopHadoop简介 名字来源于Doug Cutting儿子的玩具大象。 2003-2004年，Google公开了部分GFS和Mapreduce思想的细节，以此为基础Doug Cutting等人用了2年业余时间实现了DFS和Mapreduce机制，一个微缩版：Nutch Hadoop 于 2005 年秋天作为 Lucene的子项目 Nutch的一部分正式引...
2019-06-11 23:46:48
237
原创 高并发与负载均衡
大数据day05高并发与负载均衡什么是高并发？ 高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。 高并发相关常用的一些指标有响应时间（Response Time），吞吐量（Throughput），每秒查询率QPS（Query Per Second），并发用户数等。响应时间：系统对请求做出响...
2019-06-10 21:01:38
826
原创 bash shell 文本流及重定向
大数据day04bashbash及其特性： 1、bash实质上是一个可执行的程序，一个用户的工作环境。 2、每一个shell下可以再打开一个shell，新打开的shell称为子shell，每一个shell之间相互独立。 3、可以使用pstree命令查看当前shell下的子shell个数使用:1、光标跳转：Crtl + a ： 跳到命令行行首Crtl + e ： 跳到命...
2019-06-09 21:10:14
503
原创 linux下源码安装软件
大数据day03linux下源码安装软件1.编译安装 配置文件：Makefile 编译，安装命令：make 案例：编译安装nginx 下载源码 tar xf 解压 README ./configure：创建Makefile make：编译 make install clean 等 注意： 编译环境 软件依赖 配置项 1...
2019-06-05 20:17:15
199
原创 linux基本命令
大数据day02linux基本命令了解正则表达式在linux命令中的使用：grep 命令Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。grep使用方式使用方式：grep [OPTIONS] P...
2019-06-04 21:00:35
152
原创 Linux
大数据day01Linux系统网络设置与克隆修改网络地址： 1、设置网卡为nat模式 2、确保windows下的服务是否启动（dhcp，net服务） 3、编辑文件 vi /etc/sysconfig/network-scripts/ifcfg-eth0 4、ONBOOT=yes 5、设置IP static： IPADDR=网络地址 ...
2019-06-03 21:11:43
91
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人