- 博客(10)
- 收藏
- 关注
RSS订阅
2原创 go-入门
go-入门hello world程序结构hello worldgo原生支持Unicode，所以可以支持处理任何国家的语言，go是编译型语言，通过go的自命令run可以将go源码编译、链接、生成可执行文件并执行。$ go run helloworld.go一个简单的helloworld程序如下所示：//要运行的包必须为mainpackage mainimport "fmt"fun...
2019-05-05 16:06:31
282
原创 Spark科普
Spark科普定义概念RDD作业（Job），阶段（stages）, 任务应用上下文ApplicationContext定义Spark是用于大规模数据集群计算的矿建。它可以在YARN上处理HDFS的数据集，但是它并没有使用MapReduce作为它的分布式计算框架，而是自己实现。这样做的好处是提升了数据处理的效率，因为MapReduce的数据集每次都要从磁盘上加载，而Spark可以将作业之间的大规...
2019-04-07 14:29:48
161
原创 Hadoop的数据完整性、序列化
数据完整性 对于像HDFS这种体量的数据存储引擎来说，数据在传输，存储的过程中发生损坏是在所难免的，那么通过什么方式来检测数据的损坏来保证数据的完整性呢？ 一般的方式是checksum（数据校验和），在数据第一次引入系统时计算校验和并在数据通过一个不可靠的通道后再次计算校验和，通过比较可以判断数据的完整性。 HDFS使用CRC32C进行数据校验，它针对每个由dfs.bytes-per-che...
2019-03-09 21:39:09
251
原创 Kubernetes是什么
Kubernetes是什么k8s核心概念 K8s定义为一种容器编排技术，顾名思义其实建立在容器类技术之上的一种管理容器的技术，例如大名鼎鼎的Docker。容器编排是编排什么呢？例如容器的创建，容器的监控，容器的重启，Pod（内部是容器）所组成的服务的扩容，缩容，滚动升级，服务路由，负载均衡等等一系列在当前运维领域流行的面向微服务先进的开发运维技术K8s都有对应的解决方案。k8s核心概念 k8...
2019-03-09 11:42:15
117
原创 初识Hadoop-YARN
初识Hadoop-YARN运行机制资源请求应用生命周期构建YARN应用YARN资源调度器FIFO调度器容量调度器公平调度器 YARN(yet Another Resource Negotiator)是Hadoop的集群资源管理系统，YARN最初被引进Hadoop2是为了改善MapReduce的实现，但它具有足够的通用性，同样可以支持其他的分布式计算模式。例如Spark。 注意Pig Hive...
2019-01-13 19:04:13
140
原创 初识Hadoop-HDFS
初识Hadoop-HDFS适用场景不适用场景重要概念HDFS-Hadoop Distributed Filesystem是Hadoop自带的一个分布式文件系统，可以将数据存储在分散的数据节点上。适用场景存储超大文件流式数据访问，适合一次写入，多次读取，每次读取都读取全部数据或大部分数据的场景。不适用场景低时间延迟的数据访问，HDFS适合高吞吐的访问模式，传统的关系型数据库的访问方...
2019-01-05 22:19:44
189
原创 初识Hadoop-MapReduce
初识Hadoop-MapReduceMapReduce是什么一个java版本的示例程序单个Reduce任务数据流多个Reduce任务数据流没有Reduce任务的数据流Combiner函数减少数据传输Hadoop的核心是HDFS，YARN，MapReduce。今天先来认识一下MapReduce。MapReduce是什么MapReduce是Hadoop中的一种处理大规模数据的编程模型，得益于Ma...
2019-01-01 17:52:42
223
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人