- 博客(24)
- 资源 (17)
- 收藏
- 关注
RSS订阅转载 Hadoop学习之路（二）Hadoop发展背景
目录Hadoop产生的背景 Hadoop是啥 HADOOP在大数据、云计算中的位置和关系 Hadoop的技术应用 HADOOP生态圈以及各组成部分的简介 获取数据的三种方式 国内HADOOP的就业情况分析 1、HADOOP就业整体情况 2、 HADOOP就业职位要求 正文回到顶部Hadoop产生的背景1. HADOOP最早起源于Nutch。Nutch的设...
2018-07-19 17:33:27
1066
转载 Hadoop学习之路（一）理论基础和逻辑思维
目录三个题目 第一题 第二题 第三题 正文回到顶部三个题目第一题问题描述统计出当前这个一行一个IP的文件中，到底哪个IP出现的次数最多解决思路//必须要能读取这个内容 BufferedReader br = new BuffedReader(new FileInputStream(new File("c:/big...
2018-07-19 17:32:17
698
转载 ZooKeeper学习之路 （十）Hadoop的HA集群的机架感知
目录一、背景 二、配置机架感知 2.2、验证机架感知 三、补充 3.1、增加 datanode 节点 3.2、节点间距离计算 正文回到顶部一、背景 Hadoop 的设计目的：解决海量大文件的处理问题，主要指大数据的存储和计算问题，其中， HDFS 解决数据的存储问题；MapReduce 解决数据的计算问题 Hadoop 的设计考虑：设计分布式的存储...
2018-07-19 15:51:16
258
转载 ZooKeeper学习之路 （九）利用ZooKeeper搭建Hadoop的HA集
目录Hadoop HA 原理概述 为什么会有 hadoop HA 机制呢？ 那如何解决呢？ 集群规划 集群服务器准备 集群安装 1、安装 Zookeeper 集群 2、安装 hadoop 集群 Hadoop HA集群的初始化 1、启动ZooKeeper 2、在你配置的各个journalnode节点启动该进程 3、格式化namenode 4、要把在ha...
2018-07-19 14:01:50
341
转载 ZooKeeper学习之路 （八）ZooKeeper原理解析
目录ZooKeeper中的各种角色 ZooKeeper与客户端 Zookeeper节点数据操作流程 Paxos 算法概述（ZAB 协议） ZooKeeper 的选主机制 选择机制中的概念 选举消息内容 选举流程图 ZooKeeper 的全新集群选主 ZooKeeper 的非全新集群选主 正文回到顶部ZooKeeper中的各种角色回到顶部...
2018-07-19 13:20:59
201
转载 ZooKeeper学习之路 （七）ZooKeeper设计特点及典型应用场景
目录ZooKeeper 特点/设计目的 数据复制的好处 设计目的 ZooKeeper 典型应用场景 命名服务 配置管理 集群管理 分布式锁 队列管理 正文回到顶部ZooKeeper 特点/设计目的ZooKeeper 作为一个集群提供数据一致的协调服务，自然，最好的方式就是在整个集群中的 各服务节点进行数据的复制和同步。数据...
2018-07-18 18:21:02
323
转载 ZooKeeper学习之路 （六）ZooKeeper API的简单使用（二）级联删除与创建
目录编程思维训练 正文回到顶部编程思维训练1、级联查看某节点下所有节点及节点值2、删除一个节点，不管有有没有任何子节点3、级联创建任意节点4、清空子节点ZKTest.java 1 public class ZKTest { 2 3 private static final String CONNECT_STRING = "hadoop1,ha...
2018-07-18 17:00:08
571
转载 ZooKeeper学习之路 （五）ZooKeeper API的简单使用 增删改查
public class ZKDemo1 { private static final String CONNECT_STRING = "hadoop1:2181,hadoop2:2181,hadoop3:2181"; //如果zookeeper使用的是默认端口的话，此处可以省略端口号 //private static final String CONNECT_...
2018-07-18 16:33:14
237
转载 ZooKeeper学习之路 （四）ZooKeeper开发环境eclipse配置
目录一、eclipse中配置zookeeper开发环境 二、新建java项目，导入zookeeper相关jar包 正文回到顶部一、eclipse中配置zookeeper开发环境1）将zookeeper eclipse plugin中的6个jar包放到eclipse安装目录下的plugins文件中，重启eclipse (2) 在 Eclipse 菜单打开Wind...
2018-07-18 14:59:35
1074
转载 Zookeeper学习之路 （三）shell操作
目录Zookeeper的shell操作 Zookeeper命令工具 使用Zookeeper命令的简单操作步骤 状态信息 正文回到顶部Zookeeper的shell操作Zookeeper命令工具在启动Zookeeper服务之后，输入以下命令，连接到Zookeeper服务：[hadoop@hadoop1 ~]$ zkCli.sh -server ha...
2018-07-18 14:54:11
499
转载 Zookeeper学习之路 （一）初识
目录引言 分布式协调技术 分布式锁的实现 面临的问题 分布式锁的实现者 ZooKeeper概述 ZooKeeper数据模型 ZooKeeper数据模型Znode ZooKeeper中的时间 ZooKeeper节点属性 ZooKeeper服务中操作 监听机制 watch触发器 监听工作原理 ZooKeeper应用举例 分布式锁应用场景 传统...
2018-07-18 14:17:30
2128
转载 Zookeeper学习之路 （二）集群搭建
目录ZooKeeper 软件安装须知 ZooKeeper 的集群安装 ZooKeeper 的下载 解压安装到自己的目录 修改配置文件 将配置文件分发到集群其他机器中 配置环境变量 启动软件，并验证安装是否成功 查看进程 正文回到顶部ZooKeeper 软件安装须知鉴于 ZooKeeper 本身的特点，服务器集群的节点数推荐设置为奇数台。我这里我...
2018-07-18 14:16:19
210
转载 Kafka史上最详细原理总结
KafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Li...
2018-07-17 09:20:34
806
原创 kafka详解
Kafka的基本介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1)的方...
2018-07-16 10:00:31
296
转载 深入理解Java中异常体系
任何程序都追求正确有效的运行，除了保证我们代码尽可能的少出错之外，我们还要考虑如何有效的处理异常，一个良好的异常框架对于系统来说是至关重要的。最近在给公司写采集框架的时候系统的了解一边，收获颇多，特此记录相关的理论。1 .异常体系简介：异常是指由于各种不期而至的情况，导致程序中断运行的一种指令流,如：文件找不到、非法参数、网络超时等。为了保证正序正常运行，在设计程序...
2018-07-12 11:03:35
35393
9
转载 Java面试题全集（下）
这部分主要是开源Java EE框架方面的内容，包括Hibernate、MyBatis、Spring、Spring MVC等，由于Struts 2已经是明日黄花，在这里就不讨论Struts 2的面试题，如果需要了解相关内容，可以参考我的另一篇文章《Java面试题集（86-115）》。此外，这篇文章还对企业应用架构、大型网站架构和应用服务器优化等内容进行了简单的探讨，这些内容相信对面试会很有帮助。12...
2018-07-09 10:12:49
146
转载 Java面试题全集（中）
这部分主要是与Java Web和Web Service相关的面试题。96、阐述Servlet和CGI的区别? 答：Servlet与CGI的区别在于Servlet处于服务器进程中，它通过多线程方式运行其service()方法，一个实例可以服务于多个请求，并且其实例一般不会销毁，而CGI对每个请求都产生新的进程，服务完成后就销毁，所以效率上低于Servlet。 补充：...
2018-07-09 09:46:45
200
原创 Springboot+@Async异步+多线程
博主在写项目是需要添加异步操作来提高效率，在网上有很多关于异步操作的例子 有的是集成消息队列mq（kafka等分布式消息队列 ）有的是集成redis的消息队列等操作，关于消息队列的好处可以自行百度一下，在下认为集成消息队列是需要安装对应的程序对于小型项目没有必要，有时项目可能就是需要一个异步方法当然各有各自的好处下面简单说一下： 缺点：当时用@Async进行异步操作时固然简单但是当整个项目...
2018-07-06 15:58:16
18463
2
原创 Springboot集成Neo4j驱动模式开发
在学习Neo4j的时候网上找了很多资料也参考了很多大牛的博客，感觉这方面的资料实在太少了有的博客只是只言片语表达的很不清晰因此走了很多弯路。查找了很多关于Springboot集成Neo4j的资料大部分都是基于springdata来做的，这方面看似很简单但是如果执行插入操作就会很慢 影响插入效率。虽然他有@query标签可以书写cypher语句但是无法做到拼接组装cypher,无奈之下只有...
2018-07-06 15:27:33
5769
1
转载 Java面试题全集（上）
转自https://blog.csdn.net/jackfrued/article/details/44921941 2013年年底的时候，我看到了网上流传的一个叫做《Java面试题大全》的东西，认真的阅读了以后发现里面的很多题目是重复且没有价值的题目，还有不少的参考答案也是错误的，于是我花了半个月时间对这个所谓的《Java面试大全》进行了全面的修订并重新发布在我的C...
2018-07-06 14:20:36
270
转载 java 7新特性-TWR(Try-with-resources)
今天在资料上练习文件拷贝程序时，遇到了java 7中的一个新特性TWR，可以减少实际中的部分代码书写，对其做以记录。try-with-resources语句是声明了一个或多个资源的try语句块。在java中资源作为一个对象，在程序完成后必须关闭。try-with-resources语句确保每个资源在语句结束时关闭。只要是实现了java.lang.AutoCloseable的任何对象（包括实现jav...
2018-07-06 10:06:14
464
转载 Neo4j+DRBD+Keepalived高可用架构
本文转自http://www.ywnds.com/?p=12199Neo4j企业版支持集群及高可用架构，但是社区版本不支持，故才有结合第三方软件来做高可用架构。架构图如下：DRBD双主配置： http://www.ywnds.com/?p=6619Neo4j配置安装：http://www.ywnds.com/?p=12015Keepalived安装配置：http://www.ywnds.com/?...
2018-07-03 10:01:46
2150
原创 Neo4j图数据库配置文件详解
For more details and a complete list of settings, please see https://neo4j.com/docs/operations-manual/current/reference/configuration-settings/# 如果想自定义neo4j数据库数据的存储路径，要同时修改dbms.active_database 和 dbm...
2018-07-02 17:37:22
7489
2
原创 Neo4图数据库安装与部署
1：下载图数据库 可以根据自己的需要在Neo4j官网上进行下载需要的数据库版本https://neo4j.com/download/other-releases/ 2：解压安装 图数据库Neo4基于Java编写的在安装之前要先安装好jdk,本例子基与jdk1.8，Neo4j3.4编写tar -zxvf neo4j-community-3.4.0-unix.tar.gz 3:修改配置 在安装...
2018-07-02 17:33:24
4064
分类算法朴素贝叶斯-NB.pdf
2020-02-20
巴豆大数据团队讲师课件Yarn.pdf
2020-02-20
巴豆大数据团队讲师课件Hbase.pdf
2020-02-19
卸载Windows10deuninstall_edge.zip
2020-02-12
运行维护管理体系和制度规范.doc
2020-01-07
cmmi3完整版全套模板最新版.zip
2019-12-16
CMMI3（1-21章节）.zip
2019-12-16
GAT 1400-2017公安视频图像信息应用系统.zip
2019-12-16
keepalived2.0.8
2019-08-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人