大数据
文章平均质量分 95
天码村
这个作者很懒,什么都没留下…
展开
-
HBase学习笔记(二)
主要有利用HBase的shell命令进行Hbase数据库的操作,其实是调用Ruby的方法。Ruby客户端调用Java编写的Hbase的API原创 2023-03-08 00:23:40 · 380 阅读 · 0 评论 -
HBase学习笔记(一)
HBase是BigTable的开源Java版本。是建立在HDFS之上,提供高可靠性、高性能、列存储、可伸缩,实时读写NoSQL的数据库系统。原创 2023-03-03 00:39:24 · 424 阅读 · 1 评论 -
大数据学习笔记-Yarn(二)
本文主要学习了Yarn WebUI服务、YARN操作维护命令、YARN资源管理与隔离、YARN资源调度器Scheduler、YARN核心配置参数等内容原创 2023-02-19 23:45:56 · 589 阅读 · 0 评论 -
大数据学习笔记-Yarn(一)
数据、程序、运算资源三者组合在一起,才能完成数据的处理,单机不存在问题,但是分布式环境如何协调是一个问题。Hadoop早期用户使用Hadoop与众多主机上运行的桌面程序类似:在少了几个节点上建立一个集群、将数据载入HDFS、运行mapreduceAd hoc集群以单用户的方式建立,随着私人集群的使用实现了HDFS集群的共享,不同于HDFS,共享mapreduce非常困难。HOD集群解决;额集群条件下多租户的问题yahoo发展部署了Hadoop on Demand平台。原创 2023-01-07 22:12:49 · 404 阅读 · 0 评论 -
大数据学习笔记-MapReduce(一) 入门基础理论
MapReduce是Hadoop中生态圈重要组件,目前该组件随退到二线,但是其思想依然是很多框架的来源原创 2022-11-29 12:13:20 · 984 阅读 · 0 评论 -
大数据学习笔记-HDFS(五)——数据安全与隐私保护
数据安全与隐私是数据管理的重要方面。原创 2022-11-28 01:35:39 · 1005 阅读 · 0 评论 -
大数据学习笔记-HDFS(四)——HDFS架构
Hadoop Distribute File System,Hadoop分布式文件系统,HDFS是Hadoop核心组件之一,作为生态圈最底层的分布式服务而存在。HDFS解决的问题就是大数据如何存储。架构图:主从架构(master/slave)。通常包含一个主节点和多个从节点。主节点存储和管理namespace,即文件块、位置、权限、大小、其实地址等等,从节点存储文件数据块。原创 2022-11-27 00:59:52 · 1945 阅读 · 0 评论 -
大数据学习笔记-HDFS(三)——集群管理运维
目录1、HDFS数据迁移解决方案1.1 迁移方案 ——数据迁移的使用场景和考量因素1.2分布式拷贝工具: DistCp的使用2、HDFS NameNode安全模式3、HDFS高阶优化方案3.1短路本地读取short circuit local reads3.2负载均衡、磁盘均衡器、纠删码存储4、HDFS动态节点管理4.1 俗称动态扩容、节点服役4.2 节点下线、5、HDFS HA(高可用)机制5.1 HA引入5.2 HA系统的核心问题原创 2022-11-26 00:01:46 · 1657 阅读 · 0 评论 -
大数据学习笔记-HDFS(二)——数据存储与数据管理
WebHDFS客户端 提供了访问Restful接口,内置组件,默认开启,使集群外的客户端不用安装Hadoop和java,即可访问,不受语言限制。原创 2022-11-23 20:46:27 · 717 阅读 · 0 评论 -
大数据学习笔记-HDFS(一)
Hadoop Distributed File System,意为Hadoop分布文件存储系统,是Hadoop和核心组件之一,作为大数据生态圈最底层的分布式存储服务而存在,之解决存储问题,不解决计算和分析。解决大数据如何存储的问题,横跨在多台机器上(可以是普通的廉价的已有的计算机)高容错,适用于大数据集存储提供统一的访问接口。原创 2022-11-21 22:48:29 · 1531 阅读 · 0 评论 -
Hadoop集群搭建安装教程(续集)高可用(HA)
针对Hadoop集群的高可用环境,研究搭建方式,根据相关资料和教程以及自己实际操作,整理步骤如下。原创 2022-11-25 23:09:47 · 401 阅读 · 0 评论 -
Hadoop集群搭建安装教程(详细完整)
Hadoop是Apache旗下的一个用java语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台。原创 2022-11-21 02:01:59 · 2971 阅读 · 0 评论