- 博客(28)
- 资源 (17)
- 收藏
- 关注
RSS订阅转载 LVS负载均衡（LVS简介、三种工作模式、十种调度算法）
一、LVS简介 LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，其体系结构如图1所示，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该...
2019-11-26 15:43:27
206
原创 把class文件打包成jar包
一、少量class打包成jar1、进入cmd，切换到java bin目录2、输入：jar cvf (新jar的名字) (.class文件，多个则中间用空格隔开)如： jar cvf test.jar test.class test2.class二、多个class文件，以及文件夹(1)新建一个manifest.txt文件，添加内容：Manifest-Versio...
2019-11-11 11:07:50
4723
原创 Mysql之一主多从复制
简介将master数据库中的DDL和DML操作通过二进制日志（BINLOG）传输到slave数据库上，然后将这些日志重新执行（重做）；从而使得slave数据库的数据与master数据库保持一致。MySQL数据库自身提供的主从复制功能可以方便的实现数据的多处自动备份，实现数据库的拓展。多个数据备份不仅可以加强数据的安全性，通过实现读写分离还能进一步提升数据库的负载性能。目录一、主从原...
2019-11-08 17:47:21
1401
转载 windows上 IntelliJ IDEA安装scala环境 详细 初学
https://blog.csdn.net/csdn_dengfan/article/details/88363224
2019-11-07 15:44:19
255
转载 Java8 特性详解（二） Stream API
文章目录1. 为什么需要 Stream 2. Stream的流程 3. 创建Stream 3.1. 使用Collection子类获取Stream 3.2. 使用Stream静态方法of来创建Stream 3.3. 使用Stream静态方法generate来创建Stream 3.4. 使用Stream静态方法iterate来创建Stream 4. 流转换 4.1. di...
2019-11-07 14:50:34
823
转载 Java8 特性详解（一） Lambda
文章目录1. 为什么要使用lambda表达式 2. 从函数式接口说起 3. lambda表达式的语法糖 3.1. 语法糖 3.2. 注意点 4. 方法引用 4.1. 对象：：实例对象 4.2. 类：：实例对象 4.3. 对象：：静态方法 4.4. 构造器引用 5. 变量作用域 6. 接口的静态方法 >>> 加入全国服务端技术社群「...
2019-11-07 11:41:46
204
转载 Spark学习之路 （二十三）SparkStreaming的官方文档
目录一、SparkCore、SparkSQL和SparkStreaming的类似之处 二、SparkStreaming的运行流程 2.1 图解说明 2.2 文字解说 三、SparkStreaming的3个组成部分 四、 离散流（DStream） 五、小栗子 5.1 简单的单词计数 5.2 监控HDFS上的一个目录 5.3 第二次运行的时候更新原先的结果 5.4 ...
2019-11-07 09:38:23
193
原创 Spark学习之路 （二十）SparkSQL的元数据
目录一、概述 二、Spark-SQL脚本正文回到顶部一、概述SparkSQL 的元数据的状态有两种：1、in_memory,用完了元数据也就丢了2、hive , 通过hive去保存的，也就是说，hive的元数据存在哪儿，它的元数据也就存在哪儿。 换句话说，SparkSQL的数据仓库在建立在Hive之上实现的。我们要用SparkSQL去构建数据仓库的时候，必...
2019-11-07 09:37:34
617
原创 Spark学习之路 （二十七）图简介
目录一、图 1.1 基本概念 二、术语 2.1 顶点和边 2.2 有向图和无向图 2.3 有环图和无环图 2.4 度、出边、入边、出度、入度 2.5 超步 三、图处理技术 3.1 图数据库 3.2 图数据查询 3.3 图数据分析 3.4 图数据可视化 正文回到顶部一、图1.1 基本概念图是由顶点集合(vertex)及...
2019-11-07 09:33:55
240
原创 Spark学习之路 （二十八）分布式图计算系统
目录一、引言 二、图存储模式 2.1 边分割（Edge-Cut） 2.2 点分割（Vertex-Cut） 2.3 对比 三、图计算模式 3.1 超步 3.2 Pregel模型——像顶点一样思考 3.3 GAS模型——邻居更新模型 正文回到顶部一、引言 在了解GraphX之前，需要先了解关于通用的分布式图计算框架的两个常见问题：图存储模式和图计...
2019-11-07 09:32:05
614
转载 Spark学习之路 （十九）SparkSQL的自定义函数UDF
在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种：UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等 UDAF（User- Defined Aggregation Funcation），用户自定义聚合函数，类似在group by之后使用的sum,avg等 UDTF(User-Defined Table-G...
2019-11-07 09:31:06
161
转载 Spark学习之路 （十八）SparkSQL简单使用
目录一、SparkSQL的进化之路 二、认识SparkSQL 2.1 什么是SparkSQL? 2.2 SparkSQL的作用 2.3 运行原理 2.4 特点 2.5 SparkSession 2.7 DataFrames 三、RDD转换成为DataFrame 3.1 方式一：通过case class创建DataFrames（反射） 3.2 方式...
2019-11-06 16:59:56
133
转载 Spark学习之路 （十七）Spark分区
目录一、分区的概念 二、为什么要进行分区 三、Spark分区原则及方法 3.1 本地模式 3.2 YARN模式 四、分区器正文回到顶部一、分区的概念 分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准...
2019-11-06 16:47:15
237
转载 Spark学习之路 （十六）SparkCore的源码解读（二）spark-submit提交脚本
目录一、概述 二、源码解读 2.2 find-spark-home 2.3 spark-class 2.4 SparkSubmit 正文回到顶部一、概述上一篇主要是介绍了spark启动的一些脚本，这篇主要分析一下Spark源码中提交任务脚本的处理逻辑，从spark-submit一步步深入进去看看任务提交的整体流程,首先看一下整体的流程概要图：回到顶部...
2019-11-06 16:21:33
203
转载 Spark学习之路 （十五）SparkCore的源码解读（一）启动脚本
目录一、启动脚本分析 1.1 start-all.sh 1.2 start-master.sh 1.3 spark-config.sh(1.2的第5步) 1.4 load-spark-env.sh(1.2的第6步) 1.5 spark-env.sh 1.6 spark-daemon.sh 1.7 spark-class 1.8 start-slaves.sh...
2019-11-06 16:14:00
164
原创 Spark学习之路 （十四）SparkCore的调优之资源调优JVM的GC垃圾收集器
目录一、概述 二、垃圾收集器(garbage collector (GC)) 是什么？ 三、为什么需要GC？ 四、为什么需要多种GC？ 五、对象存活的判断 六、垃圾回收算法 6.1 标记 -清除算法 6.2 复制算法 6.3 标记-整理算法 6.4 分代收集算法 七、垃圾收集器 7.1 Serial收集器 7.2 ParNew收集器 7.3 Parall...
2019-11-06 16:02:33
188
原创 Spark学习之路 （十三）SparkCore的调优之资源调优JVM的基本架构
目录一、JVM的结构图 1.1 Java内存结构 1.2 如何通过参数来控制各区域的内存大小 1.3 控制参数 1.4 JVM和系统调用之间的关系 二、JVM各区域的作用 2.1 Java堆（Heap） 2.2 方法区（Method Area） 2.3 程序计数器（Program Counter Register） 2.4 JVM栈（JVM Stacks）...
2019-11-06 15:09:52
135
原创 Spark学习之路 （十二）SparkCore的调优之资源调优
目录一、概述 二、Spark作业基本运行原理 三、资源参数调优 3.1 num-executors 3.2 executor-memory 3.3 executor-cores 3.4 driver-memory 3.5 spark.default.parallelism 3.6 spark.storage.memoryFraction 3.7 spark.shu...
2019-11-06 14:43:17
111
原创 Spark学习之路 （十一）SparkCore的调优之Spark内存模型
目录一、概述 二、堆内和堆外内存规划 2.1 堆内内存 2.2 堆外内存 2.3 内存管理接口 三、内存空间分配 3.1 静态内存管理 3.2 统一内存管理 四、存储内存管理 4.1 RDD 的持久化机制 4.2 RDD 缓存的过程 4.3 淘汰和落盘 五、 执行内存管理 5.1 多任务间内存分配 5.2 Shuffle 的内存占用 ...
2019-11-06 11:45:55
182
原创 Spark学习之路 （十）SparkCore的调优之Shuffle调优
目录一、概述 二、shuffle的定义 三、ShuffleManager发展概述 四、HashShuffleManager的运行原理 4.1 未经优化的HashShuffleManager 4.2 优化后的HashShuffleManager 五、SortShuffleManager运行原理 5.1 普通运行机制 5.2 bypass运行机制 六、shuffle相...
2019-11-06 10:23:53
141
转载 Spark学习之路 （九）SparkCore的调优之数据倾斜调优
目录调优概述 数据倾斜发生时的现象 数据倾斜发生的原理 如何定位导致数据倾斜的代码 某个task执行特别慢的情况 某个task莫名其妙内存溢出的情况 查看导致数据倾斜的key的数据分布情况 数据倾斜的解决方案 解决方案一：使用Hive ETL预处理数据 解决方案二：过滤少数导致倾斜的key 解决方案三：提高shuffle操作的并行度 解决方案四：两阶段聚合（局...
2019-11-06 10:22:57
108
转载 Spark学习之路 （八）SparkCore的调优之开发调优
目录调优概述 原则一：避免创建重复的RDD 一个简单的例子 原则二：尽可能复用同一个RDD 一个简单的例子 原则三：对多次使用的RDD进行持久化 对多次使用的RDD进行持久化的代码示例 Spark的持久化级别 如何选择一种最合适的持久化策略 原则四：尽量避免使用shuffle类算子 Broadcast与map进行join代码示例 原则五：使用map-s...
2019-11-05 18:34:28
136
转载 Spark（三）RDD与广播变量、累加器
一、RDD的概述1.1 什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。1...
2019-11-05 13:55:26
330
转载 Spark（二）CentOS7.5搭建Spark2.3.1分布式集群
一 下载安装包1官方下载官方下载地址：http://spark.apache.org/downloads.html2 安装前提Java8 安装成功 zookeeper 安装参考：CentOS7.5搭建Zookeeper3.4.12集群 hadoop 安装参考：CentOS7.5搭建Hadoop2.7.6集群 Scala ...
2019-11-05 11:06:23
146
原创 Spark（一）Spark简介
一、官网介绍1 什么是Spark官网地址：http://spark.apache.org/Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于M...
2019-11-05 11:03:25
962
原创 Springboot 集成 Thrift
https://blog.csdn.net/rui15111/article/details/95332611
2019-11-01 15:23:44
901
原创 centos7安装Thrift
1、安装依赖yum -y install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel openssl-devel2、安装thriftwget "http://mirror.bit.edu.cn/apache/thr...
2019-11-01 10:01:11
559
分类算法朴素贝叶斯-NB.pdf
2020-02-20
巴豆大数据团队讲师课件Yarn.pdf
2020-02-20
巴豆大数据团队讲师课件Hbase.pdf
2020-02-19
卸载Windows10deuninstall_edge.zip
2020-02-12
运行维护管理体系和制度规范.doc
2020-01-07
cmmi3完整版全套模板最新版.zip
2019-12-16
CMMI3（1-21章节）.zip
2019-12-16
GAT 1400-2017公安视频图像信息应用系统.zip
2019-12-16
keepalived2.0.8
2019-08-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人