hadoop
文章平均质量分 53
川渝小帮手
后端架构师,springcloud 微服务,公众号-川渝小帮手
展开
-
大数据 Ranger
Apache Ranger™ is a framework to enable, monitor and manage comprehensive data security across the Hadoop platform作为大数据统一授权管理框架,在项目中有着很重要的作用,帮助我们更加有效的管理,开发大数据平台。...原创 2018-06-20 10:38:55 · 373 阅读 · 0 评论 -
hadoop的MapReduce
hadoop中MapReduce是其核心组件原创 2018-06-20 17:35:54 · 108 阅读 · 0 评论 -
hive 原理 用法,编码,UDF 001
数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成 的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant )的数据集合,用于支持管理决策。传统的数据库 很难海量数据存储,处理不同类型的数据,计算和处理能力不足2 hive工作原理 hive是基于Hadoop的一个数据仓...原创 2018-07-12 09:05:02 · 496 阅读 · 0 评论 -
Hbase 基本原理 项目实战应用 001
Hbase的前世(仿照)--》BigTable(是一个分布式存储系统 BigTable起初用于解决典型的互联网搜索问题) google 开发bigTable的目的:•建立互联网索引 1 爬虫持续不断地抓取新页面,这些页面每页一行地存储到BigTable里 2 MapReduce计算作业运行在整张表上,生成索引,为网络搜索应用做准备 3 (查询)用户发起网络...原创 2019-08-23 13:57:47 · 784 阅读 · 0 评论 -
hadoop HA Federation yarn 架构 数据的采集
做大数据几个月以来,了解到一些基础知识,自己总结一下大数据不同框架在开发中扮演得角色: 从整体来看:大数据一个关于数据得故事,从数据收集、提取、清洗、筛选、存储(关系型数据库,文件)、数据得可视化这是整个流程,在每一个阶段都有相应得框架,组件帮助我们处理。 学习大数据不得不了解hadoop家族,spark家族 hadoop的核心是HDFS文件系统,MapReduce ......原创 2018-06-25 11:31:50 · 422 阅读 · 0 评论