hadoop
码农Academy
码农Academy,专注分享Java技术干货,包括Java基础、Spring Boot、Spring Cloud、Mysql、Redis、Elasticsearch、中间件、架构设计、面试题、程序员攻略等。
展开
-
centos6 伪分布式模式安装hadoop
一、配置centos的内存为2g。网络连接方式为桥接。 进入centos后,配置网络连接,查看本机的ip为 打开centos中网络链接。配置ipv4。 然后重启网卡。命令service network restart 然后关闭防火墙,命令:service iptables stop 在cmd命令中ping一下刚才配置的网络,命令:ping 192.168.88.13原创 2016-06-05 20:36:54 · 684 阅读 · 0 评论 -
MapReduce概念以及运行机制
MapReduce概述 以及运行机制原创 2016-09-19 22:21:59 · 1583 阅读 · 0 评论 -
Hadoop分布式文件系统——HDFS概念以及hdfs读写数据
HDFS一流式数据访问模式来存储超大文件,运行于商用硬件集群上。 一、HDFS 的概念 1、数据块: (1) 每个磁盘都有默认的数据块大小,这是磁盘进行数据读/写的最小单位 (2) HDFS有数据块的概念,默认是64M,hadoop2中是128M。对分布式文件系统中的块进行抽象会带来很多好处。 * 最明显的好处就是,一个文件的大小可以大于网络中任意一原创 2016-11-15 11:37:15 · 4646 阅读 · 0 评论 -
HDFS基本命令
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl原创 2016-11-14 17:43:31 · 71816 阅读 · 1 评论 -
Hadoop分布式文件系统——HDFS回收站
一、HDFS的Trasg回收站 和Linux系统的回收站一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过shell删除的文件/目录。在系统的回收站中都有一个周期。也就是当系统回收站的文件/目录在一段时间之后没有被用户回收的话,HDFS就会自动的把这个文件/目录彻底删除,之后,用户就永远找不回找个文件/目录了。 配置:在每个节点(不仅仅原创 2017-03-03 11:22:14 · 509 阅读 · 0 评论 -
Hadoop分布式文件系统HDFS——Flume和Sqoop导入数据,distcp并行复制,Hadoop存档
一、Flume和Sqoop导入数据 Apache Flume是一个将大规模流数据导入HDFS的工具,最典型的应用是从另外一个系统中手机日志数据。比如银行的网络服务器。其特性如下:1、 Flume能够支持大量的数据源,其中的一些通常用于包含tail(通过管道的方式将本地文件写入Flume中),syslog和apache log4j(允许java应用通过Flume将事件写入HDFS中的文件)原创 2017-03-03 11:25:15 · 1472 阅读 · 0 评论 -
Hadoop——序列化
序列化是指将结构化对象转化为字节流以便在网络上传输或写到磁盘进行永久存储的过程。反序列化是指将字节流传回结构化对象的逆过程。 序列化在分布式数据处理的两大领域经常出现:进程间通信和永久存储。 在Hadoop中,系统中多个节点上进程间的通信是通过“远程过程调用”(RPC)实现的。RPC协议将消息序列化成二进制流后发送到远程节点,远程节点接着将二进制流反序列化为原始消息。 RPC序列化格式特点:1原创 2017-03-03 11:50:01 · 529 阅读 · 0 评论