git 误删分支恢复方法

在使用git的过程中,因为人为因素造成分支(commit)被删除,可以使用以下步骤进行恢复。 演示恢复过程 1. 先创建一个分支 git branch abc 2. 查看分支列表 git branch -a abc * develop remotes/origin-dev/d...

2019-05-21 23:22:10

阅读数 2

评论数 0

SparkSQL – 聊聊Join

Join背景介绍 Join是数据库查询永远绕不开的话题,传统查询SQL技术总体可以分为简单操作(过滤操作-where、排序操作-limit等),聚合操作-groupBy等以及Join操作等。其中Join操作是其中最复杂、代价最大的操作类型,也是OLAP场景中使用相对较多的操作。因此很有必要聊聊这...

2019-05-21 22:55:22

阅读数 4

评论数 0

Ubuntu 配置镜像代理

Ubuntu配置镜像源 由于 apt-get 默认的源为国外服务,在使用 apt-get 软件时下载速度很慢,这时我们可以为 apt-get 设置成国内镜像代理 常用的国内镜像站如下: 清华大学镜像源 https://mirrors.tuna.tsinghua.edu.cn 中科大镜像源 h...

2019-04-20 10:29:51

阅读数 11

评论数 0

ubuntu配置mail邮件服务器

背景: 最近在看项目中前辈写过的shell,当成功或失败时有邮件发出,并且发送邮件的命令很简单,只是一个mail命令,由于之前不是很了解,所以简单看了一下,并在自己的虚拟机上测试了一下。所以此文的目的主要是给像我一样的新手入门参考的。 环境: Ubuntu14.04, 没有安装mail命令 ...

2019-04-14 14:28:55

阅读数 41

评论数 0

Spark 解析XML文件到DataFrame

公司遇到一点需求,平时load文件基本上都是csv格式的文件,可是就有那么一个文件是xml文件,这也正常,因为文件是别的team推过来的,自然要遵循他们的格式,于是就要想办法解析xml文件。 目标是把xml文件转换为DataFrame,然后写到表中。 可是spark.reader并没有读取xm...

2019-03-26 18:40:24

阅读数 179

评论数 0

HUE安装与使用

版本: centos6.4 hue3.7.1 1、介绍 HUE=Hadoop User Experience Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于...

2019-01-30 15:42:10

阅读数 65

评论数 0

hue hadoop hive 集成问题整理

1. 在hadoop集群中集成hive(多节点),出现拒绝链接问题,如下所示: Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unabl...

2019-01-30 14:53:23

阅读数 61

评论数 0

yarn 问题整理

问题一: Spark Job执行了两次 由于job内部有一个逻辑,如果第一次失败,第二次重试已没有意义,那么就没有必要让它跑第二次,如下图所示: 首先调查为什么默认是尝试两次,结果如下: <property> <...

2019-01-28 18:32:18

阅读数 75

评论数 0

Scala Scalatest Maven 集成测试配置

第一篇:Scala Scalatest Maven 单元测试配置(测试报告和覆盖率报告) 第二篇:Scala Scalatest Maven 集成测试配置 最近在做单元测试的时候发现了一个问题,我使用静态变量存放环境信息,默认使用的是单元测试的环境(unitTest),可是跑到集成测试(int...

2019-01-21 19:40:19

阅读数 132

评论数 0

Apache Airflow 安装

安装环境: ubuntu 14.04 root:root用户 darren:普通用户(有sudo权限) 安装: 第一步:安装python sudo apt-get update sudo apt-get install python3 如果已经安装过python3,可以跳过此步。 ...

2019-01-14 19:29:12

阅读数 451

评论数 0

Scala Scalatest Maven 单元测试配置(测试报告和覆盖率报告)

第一篇:Scala Scalatest Maven 单元测试配置(测试报告和覆盖率报告) 第二篇:Scala Scalatest Maven 集成测试配置 环境: Maven: 3.3.9 Scala: 2.11.11 Scalatest_2.11: 3.0.1 这次配置单元测试没有使用...

2018-12-16 14:57:11

阅读数 519

评论数 0

Spark的driver理解和executor理解

一、看了很多网上的图,大多是dirver和executor之间的图,都不涉及物理机器   如下图,本人觉得这些始终有些抽象 看到这样的图,我很想知道driver program在哪里啊,鬼知道?为此我自己研究了一下,网友大多都说是对的有不同想法的请评论   二、现在我有三台电脑 分别...

2018-10-11 09:30:48

阅读数 1836

评论数 0

动态代理与静态代理区别

一、代理概念  为某个对象提供一个代理,以控制对这个对象的访问。 代理类和委托类有共同的父类或父接口,这样在任何使用委托类对象的地方都可以用代理对象替代。代理类负责请求的预处理、过滤、将请求分派给委托类处理、以及委托类执行完请求后的后续处理。  图1:代理模式  从图中可以看出,代理接口...

2018-09-18 09:26:55

阅读数 2067

评论数 0

MapReduce中Combiner的作用

问题提出: 众所周知,Hadoop框架使用Mapper将数据处理成一个<key,value>键值对,再网络节点间对其进行整理(shuffle),然后使用Reducer处理数据并进行最终输出。      在上述过程中,我们看到至少两个性能瓶颈: 如...

2018-08-29 13:51:03

阅读数 615

评论数 1

Yarn的JVM重用功能——uber

在文章开头,我想先做几点说明: 本文的内容来自我对Yarn的相应功能的理解和实践。而我对该部分功能的理解主要来自对Hadoop的开发者之前相应言论的分析,并且我也将我的分析发给了Hadoop community, 并得到了Yarn的创始人兼架构师Arun Murthy的肯定回复。 本文中ube...

2018-08-28 18:57:08

阅读数 247

评论数 0

Spark启动时的master参数以及Spark的部署方式

我们在初始化SparkConf时,或者提交Spark任务时,都会有master参数需要设置,如下: conf = SparkConf().setAppName(appName).setMaster(master) sc = SparkContext(conf=conf) /bin/spar...

2018-08-28 18:17:39

阅读数 1686

评论数 0

MapReduce:详解Shuffle过程

Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapRed...

2018-07-13 16:48:14

阅读数 667

评论数 1

git reset soft,hard,mixed之区别深解

GIT reset命令,似乎让人很迷惑,以至于误解,误用。但是事实上不应该如此难以理解,只要你理解到这个命令究竟在干什么。首先我们来看几个术语HEAD: 这是当前分支版本顶端的别名,也就是在当前分支你最近的一个提交Index: 也被称为Staging area,是指一整套即将被下一个提交的文件集合...

2018-07-03 13:32:04

阅读数 172

评论数 0

深入理解Java并发之synchronized实现原理

线程安全是并发编程中的重要关注点,应该注意到的是,造成线程安全问题的主要诱因有两点,一是存在共享数据(也称临界资源),二是存在多条线程共同操作共享数据。因此为了解决这个问题,我们可能需要这样一个方案,当存在多个线程操作共享数据时,需要保证同一时刻有且只有一个线程在操作共享数据,其他线程必须等到该线...

2018-06-08 19:08:11

阅读数 105

评论数 0

Oozie简介

在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起,这样才能够达到目的。[1]在Hadoop生态圈中,有一种相对比较新的组件叫做Oozie[2],它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中,从而完成更大型的任务。本文中,我们会向你介绍Oozie以及...

2018-06-01 15:57:08

阅读数 372

评论数 2

提示
确定要删除当前文章?
取消 删除
关闭
关闭