3.HDFS

最新推荐文章于 2024-03-13 07:00:00 发布
最新推荐文章于 2024-03-13 07:00:00 发布
阅读量106 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangzhaoyuan30/article/details/103100307
版权

1概述、设计目标

 

2命令行

hadoop常用命令：
hadoop fs -ls /
hadoop fs -put
hadoop fs -copyFromLocal
hadoop fs -moveFromLocal
hadoop fs -cat
hadoop fs -text
hadoop fs -get
hadoop fs -mkdir 
hadoop fs -mv  移动/改名
hadoop fs -getmerge
hadoop fs -rm
hadoop fs -rmdir
hadoop fs -rm -r

 

3文件存储机制

hadoop namenode的工作机制

HDFS存储扩展：
    put: 1file ==> 1...n block ==> 存放在不同的节点上的
    get: 去nn上查找这个file对应的元数据信息

 

4副本摆放策略

1-本rack的一个节点上

2-另外一个rack的节点上

3-与2相同的rack的另外一个节点上

1-本rack的一个节点上

2-本rack的另外一个节点上

3-不同rack的一个节点上

 

5HDFS读写数据流程

 

6checkpoint

 

 

#_
关注
关于unbuntu启动hadoop时报错org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block的解决方案
weixin_53019598的博客
03-08 2033
仅记录，新手有误轻喷。
第4章 HDFS 2 4.1. 简介 2 4.1.1. 概述 2 4.1.2. 组成架构 4 4.1.3. HDFS文件块大小
05-21
第4章 HDFS 2 4.1. 简介 2 4.1.1. 概述 2 4.1.2. 组成架构 4 4.1.3. HDFS文件块大小 5 4.2. HDFS的shell操作 6 4.2.1. 基本语法 7 4.2.2. 参数大全 8 4.2.3. 常用命令实操 9 4.3. 通过Java实现HDFS操作及访问 14 ...
（3）HDFS分布式文件系统
cf_wu95的博客
07-22 355
HDFS：Hadoop Distributed File System 实现目标： 兼容廉价的硬件设备。 流数据读写 。就是大量数据、全部数据的读写，而不是访问某个部分的子集。 面对大数据集 。 简单的文件模型。对文件进行简化，牺牲相关的性能，获取批量处理的特性。只允许追加，不允许修改。 强大的跨平台兼容性。因为JAVA。 缺点： 不适合低延迟数据访问 。因为设计上是批量读大部分...
三、HDFS简介
QvQ
04-09 383
一、HDFS简述： 1、Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。 2、本身是用来存储数据的，当存储较大文件的时候会对文件进行切换。 二、HDFS的体系结构 1、NameNode：管理整个文件的元数据。 2、DataNode：负责管理用户的文件数据块。 3、Secondary NameNode用来监控hdfs状态的...
Hive执行异常org.apache.hadoop.hdfs.BlockMissingException
月月大王的博客
10-26 2683
Caused by: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-2040810143-192.168.144.145-1612269795515:blk_1077591653_3851069 file=/hbase/data/default/cycle_middle_data/c4cc4a321e4779c75d810ba0698079c3/info/395d0f3895cf407b88921f9cbc8
已解决org.apache.hadoop.hdfs.protocol.QuotaExceededException异常的正确解决方法，亲测有效！！！
小明的Java问道之路
03-13 2460
已解决org.apache.hadoop.hdfs.protocol.QuotaExceededException异常的正确解决方法，亲测有效！！！
Hadoop datanode启动异常 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode
Kason_iWiki
11-25 2614
发现这两个id不一致，经查阅相关资料，id不一致会导致Initialization failed for Block pool。线上收到hadoop集群datanode掉线告警。然后再次尝试启动datanode进程。发现未存在datanode进程。
java.lang.ClassNotFoundException: Class org.apache.hadoop.hdfs.DistributedFileSystem
qq_51682771的博客
11-15 1253
【代码】java.lang.ClassNotFoundException: Class org.apache.hadoop.hdfs.DistributedFileSystem。
org.apache.hadoop.hdfs.DataStreamer: Exception in createBlockOutputStream问题
jshazhang的专栏
10-15 1815
2020-08-24 19:12:15,596 INFO [Thread-925] org.apache.hadoop.hdfs.DataStreamer: Exception in createBlockOutputStream blk_1090328244_16602678 java.io.IOException: Broken pipe at sun.nio.ch.FileDispatcherImpl.write0(Native Method) at sun.nio.ch.SocketDispatch
Presto之hive.hdfs.impersonation.enabled & hive.hdfs.wire-encryption.enabled
王飞活的博客
02-12 2247
如果hive.hdfs.impersonation.enabled=false，则Presto将直接使用hive.hdfs.presto.principal设置的用户与hdfs进行交互，所以如果新建文件，文件的数组将为hive.hdfs.presto.principal用户。2. hive.hdfs.impersonation.enabled的实现原理是通过创建访问Hdfs的Ugi来控制的。
org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block:
summer089089的博客
01-04 2256
1.调度正常运行时报错如下，报错详情 Error: java.io.IOException: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1555360483-10.68.9.242-1591167227146:blk_1103672895_29932280 file=/user/hive/warehouse/offline.db/ods/ods_offline_o
大数据课程-Hadoop集群程序设计与开发-3.HDFS分布式文件系统_lk_edit.pptx
01-01
3. **Block（数据块）**：HDFS将文件分割为固定大小的块进行存储，默认大小为128MB。文件的每个块都会被复制到多个DataNode上以提供容错性，通常默认备份3份。块的复制策略确保了数据的可靠性和可用性，即使部分...
【水果识别】基于matlab GUI形态学水果大小识别【含Matlab源码 920期】.md
10-15
CSDN Matlab武动乾坤上传的资料均有对应的代码，代码均可运行，亲测可用，适合小白； 1、代码压缩包内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博客文章底部QQ名片； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 图像识别：表盘识别、车道线识别、车牌识别、答题卡识别、电器识别、跌倒检测、动物识别、发票识别、服装识别、汉字识别、红绿灯识别、火灾检测、疾病分类、交通标志牌识别、口罩识别、裂缝识别、目标跟踪、疲劳检测、身份证识别、人民币识别、数字字母识别、手势识别、树叶识别、水果分级、条形码识别、瑕疵检测、芯片识别、指纹识别
【瑕疵检测】基于matlab瓶盖瑕疵检测【含Matlab源码 730期】.md
10-15
CSDN Matlab武动乾坤上传的资料均有对应的代码，代码均可运行，亲测可用，适合小白； 1、代码压缩包内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博客文章底部QQ名片； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 图像识别：表盘识别、车道线识别、车牌识别、答题卡识别、电器识别、跌倒检测、动物识别、发票识别、服装识别、汉字识别、红绿灯识别、火灾检测、疾病分类、交通标志牌识别、口罩识别、裂缝识别、目标跟踪、疲劳检测、身份证识别、人民币识别、数字字母识别、手势识别、树叶识别、水果分级、条形码识别、瑕疵检测、芯片识别、指纹识别
Shapely-1.6.4.post2-cp35-cp35m-win_amd64.whl
10-15
Shapely-1.6.4.post2-cp35-cp35m-win_amd64.whl
Apache Flink CEP复杂事件处理详解及实战案例
10-15
内容概要：本文详细介绍了Apache Flink的FlinkCEP模块，讲解了其安装配置、事件流处理基础及其应用场景，其中包括电商欺诈检测、网络监控、实时交易系统的模式匹配以及社交媒体趋势分析的具体实现。通过多个实战示例演示了如何利用正则表达式定义复杂模式并在大数据流中识别有用的事件序列，适用于需要从实时数据流中挖掘价值的多种场景。 适用人群：具备一定大数据处理经验的研发人员、架构师以及相关领域的研究人员和技术爱好者。 使用场景及目标：针对金融反欺诈、网络安全、高频交易、物联网数据分析等领域，实现复杂事件模式的实时监测和处理。 其他说明：本文提供了大量的实践代码样本，旨在引导读者掌握Flink CEP的实际应用技巧。
SSM+JSP在线网课管理系统答辩PPT.pptx
最新发布
10-15
计算机毕业设计答辩PPT
稳压罐sw16_三维3D设计图纸.zip
10-15
稳压罐sw16_三维3D设计图纸.zip
英语知识应用网站 JAVA毕业设计 源码+数据库+论文 Vue.js+SpringBoot+MySQL.zip
10-15
英语知识应用网站 JAVA毕业设计 源码+数据库+论文 Vue.js+SpringBoot+MySQL 系统启动教程：https://www.bilibili.com/video/BV11ktveuE2d
#定义三大组件的名称 a.sources = r a.sinks = k1 k2 k3 a.channels = c1 c2 c3 #将数据流复制给所有channel a.sources.r.selector.type = replicating  # 配置Source组件 a.sources.r.type = exec #exec表示数据源来自运行给定的Unix命令后生成的数据 a.sources.r.command = cat /home/bit/ys/hngyzd.csv # kafka a.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a.sinks.k1.kafka.topic = data a.sinks.k1.kafka.bootstrap.servers = localhost:9092 a.sinks.k1.kafka.flumeBatchSize = 20 a.sinks.k1.kafka.producer.acks = 1 a.sinks.k1.kafka.producer.linger.ms = 1 a.sinks.k1.kafka.producer.compression.type = snappy a.channels.c1.type = memory a.channels.c1.capacity = 100000 a.channels.c1.transactionCapacity = 100 # mysql a.sinks.k2.type =com.us.flume.MysqlSink a.sinks.k2.hostname=localhost a.sinks.k2.port=3306 a.sinks.k2.databaseName=ys a.sinks.k2.tableName=table1 a.sinks.k2.user=bit a.sinks.k2.password=123456 a.channels.c2.type = memory a.channels.c2.capacity = 100000 a.channels.c2.transactionCapactiy = 2000 # hdfs a.sinks.k3.type = hdfs a.sinks.k3.hdfs.path = hdfs://localhost:9000/user/bit/ys #积攒多少个Event才flush到HDFS一次 a.sinks.k3.hdfs.batchSize = 100 #设置文件类型，可支持压缩 a.sinks.k3.hdfs.fileType = DataStream #多久生成一个新的文件 a.sinks.k3.hdfs.rollInterval = 5 a.channels.c3.type = memory a.channels.c3.capacity =100000 a.channels.c3.transactionCapacity = 100 # Bind the source and sink to the channel a.sources.r.channels = c1 c2 c3 a.sinks.k1.channel = c1 a.sinks.k2.channel = c2 a.sinks.k3.channel = c3
05-23
这段代码是一个 Apache Flume 的配置文件，用于将数据从一个源头复制到多个目的地。其中，a.sources 定义了数据源，a.sinks 定义了数据的目的地，a.channels 定义了数据在传输过程中的缓存区。具体配置如下： - 数据源：a.sources.r.type = exec 表示数据源来自运行给定的 Unix 命令后生成的数据，a.sources.r.command = cat /home/bit/ys/hngyzd.csv 表示运行 cat 命令读取指定文件中的数据作为数据源。 - Kafka 目的地：a.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink 表示将数据发送到 Kafka，a.sinks.k1.kafka.bootstrap.servers = localhost:9092 表示连接到本地的 Kafka 服务器，a.sinks.k1.channel = c1 表示从名为 c1 的缓存区取出数据发送到 Kafka。 - MySQL 目的地：a.sinks.k2.type = com.us.flume.MysqlSink 表示将数据写入 MySQL 数据库，a.sinks.k2.hostname = localhost、a.sinks.k2.port = 3306、a.sinks.k2.databaseName = ys、a.sinks.k2.tableName = table1、a.sinks.k2.user = bit、a.sinks.k2.password = 123456 分别表示连接到本地的 MySQL 数据库 ys 中的 table1 表，并使用 bit 用户名和 123456 密码进行认证。a.sinks.k2.channel = c2 表示从名为 c2 的缓存区取出数据写入 MySQL。 - HDFS 目的地：a.sinks.k3.type = hdfs 表示将数据写入 HDFS，a.sinks.k3.hdfs.path = hdfs://localhost:9000/user/bit/ys 表示将数据写入到本地的 HDFS 文件系统中的 /user/bit/ys 目录下。a.sinks.k3.hdfs.batchSize = 100 表示积攒多少个事件才将它们一起 flush 到 HDFS 中，a.sinks.k3.hdfs.rollInterval = 5 表示每隔 5 秒生成一个新的文件。a.sinks.k3.channel = c3 表示从名为 c3 的缓存区取出数据写入 HDFS。 最后，a.sources.r.channels、a.sinks.k1.channel、a.sinks.k2.channel 和 a.sinks.k3.channel 分别将数据源和目的地绑定到缓存区 c1、c2 和 c3。这样，数据在传输过程中会先进入缓存区，再从缓存区分别发送到 Kafka、MySQL 和 HDFS 中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值