关注
分享
云计算的服务类型来说，一般可分为三个层面，分别是：IaaS、PaaS和SaaS。这三个层次组成了云计算技术层面的整体架构，这其中可能包含了一些虚拟化的技术和应用、自动化的部署以及分布式计算等技术，这种技术架构的优势就是可以对外表现出非常优秀的并行计算能力以及大规模的伸缩性和灵活性
玩IT的川
热爱IT行业，希望通过自己的一些见解和知识帮到大家，共同进步
展开
-
大数据平台一键安装OS【搭建脚本篇】
定制化大数据平台一键安装OS大数据平台一键安装OS系列大数据平台一键安装OS【定制化OS镜像制作】搭建脚本篇脚本命名随便，只要能看懂就行镜像包说明os1.1.iso 用于安装服务端和客户端操作系统hdp.iso 用于安装hdp服务1.架构图：服务端客户端2.原理分析安装系统-安...原创 2019-07-15 10:46:21 · 533 阅读 · 0 评论 -
大数据平台一键安装OS【定制化OS镜像制作】
定制化 大数据平台一键安装OS大数据平台一键安装OS系列大数据平台一键安装OS【搭建脚本篇】定制化OS镜像制作1.操作环境操作环境：VMware Workstarion 9 and vSphere client系统：CentOS -6.8-x86_64工具：gconf-editor anaconda repodata createrepo mkisof...原创 2019-07-15 10:46:39 · 830 阅读 · 0 评论 -
三个大数据处理框架：Storm，Spark和Samza 介绍比较
三个大数据处理框架：Storm，Spark和Samza 介绍比许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm在Storm中， 先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（mas...原创 2019-08-31 09:11:42 · 269 阅读 · 0 评论 -
大数据处理框架
大数据处理框架说起大数据处理啊，一切都起源于Google公司的经典论文。在当时（2000年左右），由于网页数量急剧增加，Google公司内部平时要编写很多的程序来处理大量的原始数据：爬虫爬到的网页、网页请求日志；计算各种类型的派生数据：倒排索引、网页的各种图结构等等。这些计算在概念上很容易理解，但由于输...原创 2019-08-31 09:16:31 · 242 阅读 · 0 评论 -
大数据处理框架技术，你了解了多少？
大数据处理框架技术，你了解了多少？大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非...原创 2019-08-31 09:23:42 · 281 阅读 · 0 评论