Hadoop大数据相关
关注
分享
扫一扫
文章平均质量分 61
Hadoop大数据相关知识
超级侠哥
这个作者很懒，什么都没留下…
展开
-
nutch1.7与sorl4.8整合抓取网址出现java.io.IOException: Job failed!
最近在实践nutch1.7与sorl4.8整合抓取网址时，出现了以下问题：原创 2021-08-20 09:30:20 · 111 阅读 · 0 评论 -
hbase基本的表管理和访问
1.导入hbase依赖的jar包hadoop原创 2014-06-27 18:32:58 · 499 阅读 · 0 评论 -
Hadoop安装手册
1 安装环境内核：3.10.0-229.el7.x86_64操作系统：CentOS 7ssh和sshd已经默认配置在局域网中有三台机器用于安装：192.168.1.170，192.168.1.171，192.168.1.172，此处192.168.1.170为namenode，192.168.1.171和192.168.1.172为datanode1和datanode2。IP地址已经配置好，三台机器互相可以通信。2 配置Java此处将Java配置到系统环境里面去。首先，解..原创 2021-08-08 12:08:07 · 287 阅读 · 0 评论 -
Sqoop1.99.6将数据从MySQL导入到hadoop2.6
环境介绍：Centos7Sqoop1.99.6Hadoop2.6Mysql5.61 Sqoop1.99.6安装1.1Sqoop1.99.6安装首先从官网(http://mirror.bit.edu.cn/apache/sqoop/1.99.6/)下载sqoop-1.99.6-bin-hadoop200.tar.gz，解压放在/usr/local/sqoop目录中。在/etc/profile中添加如下配置 export SQOOP_HOME=/usr/local/sq原创 2021-08-08 11:50:12 · 205 阅读 · 0 评论 -
Hadoop纠删码算法启用ISA-L加速库
在前文HDFS纠删码（ErasureCoding）一文中提到，HDFS启用ISA-L存储加速库，有有助于提升HDFS纠删码的编码和解码效率。版本说明如下：软件 版本 Hadoop 3.1.0 isa-l 2.28.0 nasm 2.14.02 yasm 1.2.0 启用ISA-L步骤如下：安装yasm和nasm在Hadoop集群所...原创 2019-12-20 10:33:37 · 2884 阅读 · 0 评论 -
HDFS纠删码（Erasure Coding）
目的HDFS默认的3副本策略，在存储空间和其他比如网络带宽上有200%的开销，因而副本策略是昂贵的。但是对于具有相对较低I/O的冷热数据集，在正常操作期间很少访问其他副本块，但仍然消耗与第一个副本相同的资源量。因此，一种改进措施是使用纠删码（ErasureCode，EC）来替换副本策略。纠删码提供了与副本相同的容错能力，但使用较少的存储空间。在典型的纠删码中，存储开销不超过50%。纠删码...翻译 2019-12-13 17:27:43 · 3004 阅读 · 0 评论 -
Protected multilib versions XXX
今天在安装Ambari软件时，碰到Protected multilib versions : libtirpc-0.2.4-0.15.el7.i686 != libtirpc-0.2.4-0.15.el7.i86_64报错。通过分析问题是由于yum中libtripc存在多个不同版本导致。网上对该问题的解决办法较多的是在yum软件安装命令后面添加--setopt=protected_mult...原创 2019-10-08 20:55:21 · 993 阅读 · 0 评论 -
【hadoop摸索系列】记录使用libhdfs访问hdfs的关键问题
转载：http://www.cnblogs.com/qq120848369/p/3666757.htmlhadoop官方的二进制发布版本一直是32位平台编译的，对于java来说跨平台不影响使用，但是为了在c/c++程序中操作hdfs就做不到了，因为libhdfs.so是二进制不兼容的。我使用的是stable版本的hadoop 2.20，直接从官方下载了二进制发布版本，在目...转载 2014-06-05 10:42:03 · 746 阅读 · 0 评论 -
Spark(Streaming)写入数据到文件-关键为根据数据内容输出到不同自定义名称文件(saveAsHadoopFile以及自定义MultipleOutputFormat)
之前的Spark实时流处理的数据处理程序，要求把数据从kafka接收之后，分2路分别写入kafka和hdfs，写入kafka的部分之前已经有过总结，现在回过头来把之前的写入HDFS的地方重新总结一下，整个过程从头到尾有一个写入方式的优化，不过时间有点长啦，尽量描述完整( ˘ ³˘)♥。注意: 本文中使用的版本是spark2.2.1和2.6.0-cdh5.11.0背景在工作中，需要将从kaf...转载 2019-08-15 19:59:02 · 5356 阅读 · 8 评论 -
Hadoop2.7报It looks like you are making an HTTP request to a Hadoop IPC port. 问题解决
先说下版本：ubuntu14.04Hadoop2.7今天在运行hadoop时，在浏览器上输入http://localhost:9000/，显示以下问题经过思考以及搜索问题原因，发现是单节点的hadoop的问题，正确为http://localhost:8088/cluster具体见下面说明：管理界面：http://localhost:8088NameNode界面：h...原创 2015-11-10 21:01:22 · 20331 阅读 · 1 评论 -
Hadoop学习—直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件
1.编写程序如下：package com.sun.hadoop.filesystem;import java.io.InputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apa...原创 2014-06-25 16:00:09 · 528 阅读 · 0 评论 -
hadoop2.6解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 问题
今天hadoop在启动时候，报 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable错误，然后增加调试信息，执行命令export HADOOP_ROOT_LOGGER=DEBUG,c原创 2016-05-26 15:01:54 · 16326 阅读 · 1 评论 -
使用Eclipse编译运行MapReduce程序 Hadoop2.4.1
使用Eclipse编译运行MapReduce程序 Hadoop2.4.1转载 2015-12-22 19:33:59 · 940 阅读 · 0 评论