hadoop生态集群
文章平均质量分 83
阿童木-atom
行到水穷处,坐看云起时!
鄙人学富五车、才高八斗。技术能力称雄天下,敢领风骚数五百年。java、scala、python、C/C++、php登峰造极,精通Spring、mybatis、hibernate、struts2各种框架及具备各种大型系统架构能力,深耕搜索、推荐、数据挖掘、机器学习、深度学习、人工智能等领域,通读lucene、solr、elaticsearch、sphinx、mahout、tensorfolw等开源项目源码,精通hadoop、hbase、hive、spark、kafka、rabbit、activeMQ等大数据处理工具的应用。
展开
-
Hadoop生产环境集群常用命令记录
一、集群管理相关1、hdfs haadmin -getServiceState nn2 --查询namenode的状态:active或standby2、hdfs haadmin -transitionToActive --forceactive --forcemanual nn2 --强制namenode切换3、hadoop-daemon.sh start datanode --启动datanode4、hadoop-daemon.sh stop datanode --停止datanode原创 2022-02-18 11:10:38 · 980 阅读 · 0 评论 -
hadoop-1.2.1完全分布式安装
配置hadoop集群首先选准备3台liunx机器(我用的Ubuntu虚拟机)Ubuntu 还是 Centos 随便192.168.1.101 h1 (准备装成namenode)192.168.1.102 h2 (准备装成datanode)192.168.1.103 h3 (准备装成datanode)首先,联通这3台机子的使用ssh免密钥:我自己使用的都原创 2017-10-10 16:00:12 · 15402 阅读 · 0 评论 -
k-means聚类算法hadoop实现源码
本篇文章只讲可用的hadoop实现算法的源码,可直接拷贝用于工程中!/** * 质点特征模型,可根据自己的业务需求进行修改 * * @author jianting.zhao */public class ParticleModel { //特征x public double x; //特征y public double y; public原创 2017-10-11 09:35:46 · 16980 阅读 · 1 评论 -
hadoop实战之hdfs常用操作工具类
本文是hdfs常用的操作工具类,可直接复用!import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.原创 2017-10-13 11:25:21 · 16427 阅读 · 0 评论 -
hbase实战之常用操作工具类
最近版本的hbase中,已经用Table类取代了原来的HTableInterface的,获取接连的方式也变为Connection类来获取.import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;impor原创 2017-10-13 11:35:42 · 18168 阅读 · 0 评论 -
hbase架构原理之region、memstore、hfile、hlog、columm-family、colum、cell
**鄙人的新书《elasticsearch7完全开发指南》,欢迎订阅!**-----https://wenku.baidu.com/view/8ff2ce94591b6bd97f192279168884868762b8e7**《kibana权威指南》**----https://wenku.baidu.com/view/24cfee1ce43a580216fc700abb68a98270...原创 2017-11-08 16:34:52 · 22275 阅读 · 2 评论