Hadoop相关操作

最新推荐文章于 2024-08-14 14:26:42 发布
最新推荐文章于 2024-08-14 14:26:42 发布
阅读量476 收藏
点赞数 1
分类专栏： 环境配置 文章标签： hadoop 大数据 分布式
本文链接：https://blog.csdn.net/zhang6332/article/details/125562258
版权
本文介绍了如何管理Hadoop集群，包括查看NameNodes节点状态、检查NameNodes健康、执行故障转移、监控NameNodes主从状态，以及手动切换Namenode的活动与待机状态。
摘要由CSDN通过智能技术生成

1.查看集群NameNodes节点状态

hdfs haadmin -getAllServiceState

2.查看指定NameNodes的健康情况

hdfs haadmin -checkHealth <serviceId>

3.初始化两个Namenodes之间的故障转移

hdfs haadmin -failover [--forcefence] [--forceactive] <serviceId>

4.查看NameNodes主从状态

hdfs haadmin -getServiceState <serviceId>

5.将指定的Namenode的状态切换为活动。


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  zhang6332
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Namenode知识点梳理

				
			

			

				

					weixin_43418390的博客
				

				

					09-10
					
					889
					
				

			

		

		

			
				
namenode的作用
名字节点主要用来保存HDFS的元数据信息，比如命名空间信息，块信息。可以分为文件系统目录树管理：1.对文件/目录的元信息和文件的数据块索引管理（主要通过INode、Feature、FSEditLog、FSImage等相关类进行管理）2.对数据块和数据节点进行管理。
namenode的高可用(HA)实现
namenode的HA主要包括主备切换、共享日志存储。
1.在集群中存在多个namenode，他们均处于active或standby状态。
2.共享日志存储：active nameno

			
		

	



                

              
                



	

		

			

				
					
HDFS查看异常：Operation category READ is not supported in state standby. Visit

					
热门推荐

				
			

			

				

					jast
				

				

					09-25
					
					4万+
					
				

			

		

		

			
				
跨集群访问hdfs失败


$ hdfs dfs -ls hdfs://test:8020/hbase
ls: Operation category READ is not supported in state standby. Visit https://s.apache.org/sbnn-error

意思是namenode不可用，查看namenode状态


hdfs-site.xml
 ...

			
		

	



                


  
              

                


	

		

			

				
					
Hadoop HA高可用集群简明安装操作说明

				
			

			

				

					qq_35447918的博客
				

				

					11-06
					
					855
					
				

			

		

		

			
				
实验环境：本操作说明适合502机房和504机房

一 实验准备：

1）运行Vmware WorkStation或Virtual Box，把“Hadoop伪分布式”虚拟机的名称改成“standby高可用”，“master完全分布式”改成“master高可用”“slave1完全分布式”改成“slave1高可用”，“slave2完全分布式”改成“slave2高可用”

2）启动master完全分布式，slave1完全分布式，slave2完全分布式，standby高可用共4台虚拟机，把standby的IP地址修改

			
		

	





	

		

			

				
					
Hadoop - 高可用服务主备状态查询

				
			

			

				

					u011250186的博客
				

				

					08-14
					
					872
					
				

			

		

		

			
				
Hadoop - 高可用服务主备状态查询

			
		

	



		

			
		



	

		

			

				
					
Hadoop HDFS NameNode

				
			

			

				

					记录点点滴滴
				

				

					04-17
					
					1092
					
				

			

		

		

			
				
NameNode 格式化后，Fsimage ,Edits 会在。

			
		

	





	

		

			

				
					
Hadoop基本操作

				
			

			

				

					m0_73971893的博客
				

				

					03-05
					
					2866
					
				

			

		

		

			
				
Hadoop基本操作方法

			
		

	





	

		

			

				
					
hadoop基本操作.docx

				
			

			

				

					10-28
				

			

		

		

			
				
在Eclipse等Java集成开发环境中，可以方便地编写和测试HDFS相关的程序，进一步扩展对Hadoop平台的控制和管理能力。  总之，掌握Hadoop的HDFS基本操作是进入大数据世界的关键一步，这不仅可以帮助你管理和操作数据，...

			
		

	





	

		

			

				
					
Hadoop期末操作备忘录

				
			

			

				

					01-04
				

			

		

		

			
				
通过这份【Hadoop期末操作备忘录】，你将能够系统地复习Hadoop的相关知识，提升在大数据领域的专业技能。在复习过程中，不仅要理解理论概念，还要通过实践操作来巩固和深化理解，确保在期末考核中能够游刃有余地应对...

			
		

	





	

		

			

				
					
hadoop操作工具.rar

				
			

			

				

					06-03
				

			

		

		

			
				
Hadoop是一款开源的大数据处理框架，由Apache基金会开发，...为了充分利用这些工具，用户需要对Hadoop的架构、工作原理以及相关Java编程有一定的了解。同时，掌握如何在实际环境中部署和优化Hadoop集群也是至关重要的。

			
		

	





	

		

			

				
					
hadoop api 操作代码

				
			

			

				

					01-06
				

			

		

		

			
				
Hadoop API中与HDFS相关的类有`FileSystem`、`DFSClient`和`FSDataInputStream/FSDataOutputStream`等，用于文件的读写操作。  3. **MapReduce**：MapReduce是Hadoop的计算模型，它将复杂的大数据处理任务分解为两个...

			
		

	





	

		

			

				
					
hadoop的操作有图片

				
			

			

				

					01-29
				

			

		

		

			
				
### Hadoop操作与环境搭建详解  #### 一、Hadoop简介 Hadoop是一个开源软件框架，用于分布式存储和处理大规模数据集。它由Apache基金会维护，主要包括HDFS（Hadoop Distributed File System）和MapReduce两个核心...

			
		

	





	

		

			

				
					
查看 hdfs namenode 状态

				
			

			

				

					猪八戒他大哥的博客
				

				

					08-23
					
					979
					
				

			

		

		

			
				
hdfs haadmin -ns cluster -getAllServiceStatehdfs haadmin -ns cluster -getServiceState nn1hdfs haadmin -ns cluster -getServiceState nn2

			
		

	





	

		

			

				
					
HDFS查看namenode状态

				
			

			

				

					王义凯 的博客
				

				

					10-31
					
					9380
					
				

			

		

		

			
				
我使用的是CDH6版本，开源版类似。

/etc/hadoop/conf/hdfs-site.xml

hdfs-site.xml中配置了HA





通过以下命令查看两个namenode的状态:

hdfs haadmin -getServiceState namenode202

hdfs haadmin -getServiceState namenode177



例子：判断nameno...

			
		

	





	

		

			

				
					
通过命令来查看NameNode的状态（是Active还是Standby）

				
			

			

				

					快乐的风男
				

				

					08-12
					
					2万+
					
				

			

		

		

			
				
hadoop2.2.0（HA）中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态，另一个处于随时待命状态。这样，当一个NameNode所在的服务器宕机时，可以在数据不丢失的情况下，手工或者自动切换到另一个NameNode提供服务。 

这些NameNode之间通过共享数据，保证数据的状态一致。多个NameNode之间共享数据，可以通过Nnetwork File Syst...

			
		

	





	

		

			

				
					
2021-06-07

				
			

			

				

					weixin_48399639的博客
				

				

					06-07
					
					987
					
				

			

		

		

			
				
**
大数据面试题记录*
**
（一）
一、如何检查namenode是否正常运行?重启namenode的命令是什么?
通过节点信息和浏览器查看，通过脚本监控
hadoop-daemon.sh start namenode
hdfs-daemon.sh start namenode
二、hdfs存储机制是怎样的?
1) client端发送写文件请求，namenode检查文件是否存在，如果已存在，直接返回错误信息，否则，发送给client一些可用namenode节点
2) client将文件分块，并行存储到不同

			
		

	





	

		

			

				
					
hadoop常用命令

				
			

			

				

					hhhWHUWHF的博客
				

				

					04-18
					
					1951
					
				

			

		

		

			
				
9.-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去，命令：hadoop fs -copyFromLocal linux系统本地文件 hdfs文件系统路径。查看HDFS上存储的数据信息。10.-put：从本地文件系统中拷贝文件到HDFS路径去，命令：hadoop fs -put  linux系统本地文件 hdfs文件系统路径。19.-cp：从HDFS的一个路径拷贝到HDFS的另一个路径，命令：hadoop fs -cp hdfs文件系统文件 hdfs文件系统路径。

			
		

	





	

		

			

				
					
HADOOP HA之NameNode HA集群配置与应用

				
			

			

				

					weixin_56114243的博客
				

				

					12-01
					
					2941
					
				

			

		

		

			
				
HADOOP HA之NameNode HA集群配置与应用[超详细]，包括常见问题以及解决方法

			
		

	





	

		

			

				
					
Hadoop 中的大数据技术：MapReduce（2）

					
最新发布

				
			

			

				

					qq_45115959的博客
				

				

					08-14
					
					1260
					
				

			

		

		

			
				
Shuffle 是 MapReduce 处理流程中的一个关键阶段，位于 Map 函数之后和 Reduce 函数之前。在这个阶段，Map 任务的输出数据会被排序、分区，并传输给 Reduce 任务进行进一步处理。break;break;break;需求过滤输入的日志文件，将包含“lzl”的记录输出到e:/lzl.log，不含“lzl”的记录输出到。输入数据期望输出数据e:/lzl.log。

			
		

	





	

		

			

				
					
Hadoop上机实验：Linux与Hadoop操作基础

				
			

			

				

					
				

			

		

		

			
				
实验目的是为了熟练掌握在Linux环境下进行Hadoop相关操作，为后续的大数据处理打下基础。实验指定的操作系统是Ubuntu 16.04，使用的Hadoop版本为2.7.1。”  在实验中，首先介绍了几个关键的Linux命令：  1. **cd命令...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值