BDA
文章平均质量分 68
automationer
A leap Coder
展开
-
Hadoop学习笔记
一.安装与配置Hadoop1.1.配置SSH在Mac OS上比较顺利1.2.格式化HDFS文件系统 hadoop namenode -format1.3.所有的启动脚本均在$HADOOP_HOME/sbin/目录下,『$HADOOP_HOME/sbin/start-all.sh』即可运行MapReduce数据流:MapReduce作业(job)是客户端需要执行的一个工作原创 2016-12-03 15:57:14 · 973 阅读 · 0 评论 -
分布式系统中的通讯范型与间接通信
1.分布式系统中的通讯范型:进程间通信:分布式系统进程间通信的相对底层的支持,包括消息传递原语,直接访问由互联网协议提供的API和对多拨通信的支持。远程调用:RPC被设计为在应用程序间通信的平台中立的方式,它不理会操作系统之间以及语言之间的差异。 支持多语言。RMIRMI 采用JRMP(Java Remote Method Pro原创 2016-12-04 23:31:24 · 1048 阅读 · 0 评论 -
Apache Storm 简述
一.Storm、Hadoop、Spark基本概念与对比Hadoop是磁盘级计算,进行计算时,数据在磁盘上,需要读写磁盘;Storm是内存级计算,数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据Harvard CS61课件,磁盘访问延迟约为内存访问延迟的75000倍。所以Storm更快。注释: 1. 延时 , 指数据从产生到运算产生结果的时间,“快”应该主要指这个。 2. 吞吐,原创 2016-12-05 08:13:04 · 1611 阅读 · 0 评论 -
Maven 工程中融合使用 Scala配置
Scala可以和Java程序无缝拼接,因为Scala文件编译后也是成为.class文件,并且在JVM上运行。Java 可以在 Scala SBT 模式下兼容运行,Scala 也可以在 Java Maven 模式下兼容运行。1.Maven pom 修改<properties> <scala.version>2.11.2</scala.version></properties><!--mav原创 2016-12-05 22:30:26 · 1235 阅读 · 0 评论 -
分布式一致性原理、Paxos算法与Zookeeper的ZAB协议、Zookeeper使用场景与在电商系统中的应用
Paxos算法1.CAP定理:一个分布式系统不可能同时满足一致性(C),可用性(A)和分区容错性(P)这三个基本需求,最多只能同时满足其中的两项。2.2PC: Prepare(投票);Commit(事务提交),中断Rollback(事务回滚) 优点:原理简单,实现方便 缺点:同步阻塞,单点问题,脑裂(主从数据不一致)、保守(协调者超时机制判断是否要中断事务)等3.3PC:事务询问(CanCom原创 2016-12-04 20:51:50 · 8993 阅读 · 0 评论 -
HWI-HiveWebInterface 最新安装配置教程
HWI-HiveWebInterface 最新安装配置教程Hive Web Interface (component removed as of Hive 2.2.0)See:https://cwiki.apache.org/confluence/display/Hive/HiveWebInterface#HiveWebInterface-WebHCatAPIhttps://issue...原创 2019-02-28 22:37:21 · 360 阅读 · 0 评论