- 博客(18)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Hive经典最全笔试题系列
现在的大数据开发，越来越趋向于编写SQL代替程序开发，比如MapReduce的Hive客户端，Kafka,Spark,Flink等都是支持SQL操作的。所以学好SQL是重中之重。是每个大数据程序开发工作者的必备技能。本人收集了大量的Hive或者说是SQL的笔试题之类：准备给各位准备一个Hive或者SQL的笔试题专题：这是列表：1、Hive--笔试题01--自连接实现2、Hiv...
2019-06-25 12:32:33
16611
3
原创 数据分区详解
数据分区详解数据分区的五种常用方式：1、随机分区优点：数据分布均匀缺点：具有相同特点的数据不会保证被分配到相同的分区2、Hash分区优点：具有相同特点的数据保证被分配到相同的分区特点：会产生数据倾斜3、范围分区缺点：提高查询速度，相邻的数据都在相同的分区缺...
2019-06-27 14:37:22
9720
原创 安装vmware虚拟机详细教程
VMware下载与安装一、虚拟机的下载1、进入VMware官网，点击左侧导航栏中的下载，再点击图中标记的Workstation Pro，如下图所示。2、根据操作系统选择合适的产品，在这里以Windows系统为例，点击转至下载，如下图所示。3、在1处可以选择版本，默认为最新版本。选择好版本...
2019-06-27 08:59:04
8323
原创 Hive--笔试题05_1--求TopN
现在有一个面试题场景举例北京市学生成绩分析成绩的数据格式exercise5_1.txt 文件中的每一行就是一个学生的成绩信息。字段之间的分隔符是","时间,学校,年纪,姓名,科目,成绩样例数据2013,北大,1,黄渤,语文,972013,北大,1,徐峥,语文,522013,北大,1,刘德华,语文,852012,清华,0,马云,英语,612015,...
2019-06-26 13:28:39
9435
4
原创 Hive内置函数
数学函数下面表格中的函数为Hive的内置数学函数，大部分当参数为NULL时返回NULL。 返回类型 函数名 描述 bigint round(double a) 返回a经过四舍五入的BIGINT值 double round(doubl...
2019-06-25 18:02:17
7848
原创 Hive--笔试题01--窗口分析函数实现
有以下一份数据：A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02,5A,2015-03,16A,2015-03,22B,2015-03,23B,2015-03,10B,2015-03,11...
2019-06-25 12:52:07
11196
3
原创 Hive--笔试题01--自连接实现
有以下一份数据：A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02,5A,2015-03,16A,2015-03,22B,2015-03,23B,2015-03,10B,2015-03,11...
2019-06-25 12:47:28
13570
8
原创 求二维数组蓄水数
1、需求接上一个需求：求一维数组蓄水数，如果数组是二维数组呢？如果求得蓄水数呢？比如这种情况：红色的格子是能蓄水的格子，蓝色的各自是墙， 也就是不能蓄水的格子2、解题思路其实对于这种题目，会很很多的难点，比如：简单低洼地带，直接求蓄水数，上下左右 55 5 5， 那中间的3 是能蓄水的比如：比如这种： 以上这些图形出现的时候...
2019-06-20 19:58:34
8950
2
原创 求一维数组蓄水数
1、需求很多程序员在面试的时候，都可能遇到一些逻辑思维/编程题，这样的题目非常有意思。而且非常考验程序员的解题技巧和代码编写能力。我这儿就曾经遇到过一个。具体需求看图2、解题思路废话不多数。直接给大家讲解思路：1、先找出整个数组中的最大值。2、整个数组就被这个最大值给分成了两个数组。3、左边数组，从左往右遍历，计算每个位置的蓄水数，计算规则是：找到当前位置的左...
2019-06-20 18:56:00
9192
3
原创 利用zookeeper模拟实现HA高可用
利用zookeeper模拟实现HA高可用1、需求在分布式场景中，对于主从架构来说，最大的问题就是单点故障。当学过zookeeper之后，我们都知道，可以利用zookeeper集群来帮助实现Hadoop的HA，那到底Hadoop的HA是如何实现的呢？2、实现思路zookeeper给我们提供了两个非常重要的组件：1、...
2019-06-19 19:16:26
12521
1
原创 MapReduce--14--学生成绩（增强版）--需求3
题目描述关于对于学生成绩相关的练习题，之前是一个入门级别的需求，现在对这些需求进行增强，首先看数据的改变：computer,huangxiaoming,85,86,41,75,93,42,85computer,xuzheng,54,52,86,91,42computer,huangbo,85,42,96,38english,zhaobenshan,54,52,86,91,42,85...
2019-06-18 10:25:30
14146
2
原创 MapReduce--13--学生成绩（增强版）--需求2
题目描述关于对于学生成绩相关的练习题，之前是一个入门级别的需求，现在对这些需求进行增强，首先看数据的改变：computer,huangxiaoming,85,86,41,75,93,42,85computer,xuzheng,54,52,86,91,42computer,huangbo,85,42,96,38english,zhaobenshan,54,52,86,91,42,85...
2019-06-17 21:46:08
13742
2
原创 MapReduce--12--学生成绩（增强版）--需求1
题目描述关于对于学生成绩相关的练习题，之前是一个入门级别的需求，现在对这些需求进行增强，首先看数据的改变：computer,huangxiaoming,85,86,41,75,93,42,85computer,xuzheng,54,52,86,91,42computer,huangbo,85,42,96,38english,zhaobenshan,54,52,86,91,42,85...
2019-06-17 21:28:11
14600
5
原创 MapReduce--11--学生成绩（基础版）--需求2
对于刚入门MapReduce的同学来说，学会mapreduce的基本编程套路，懂得mapreduce是如何对于大批量数据集做分布式运算的是非常关键的。这里有一个需求，增强各位对mapreduce编程的理解首先看数据：computer,huangxiaoming,85computer,xuzheng,54computer,huangbo,86computer,liutao,85...
2019-06-17 20:48:00
14198
原创 MapReduce--10--学生成绩（基础版）--需求1
对于刚入门MapReduce的同学来说，学会mapreduce的基本编程套路，懂得mapreduce是如何对于大批量数据集做分布式运算的是非常关键的。这里有一个需求，增强各位对mapreduce编程的理解首先看数据：computer,huangxiaoming,85computer,xuzheng,54computer,huangbo,86computer,liutao,85...
2019-06-17 20:35:28
15469
1
原创 斐波拉契数列 Java三种实现
对于很多Java初学者来说，求解斐波拉契数列，基本上所使用的方式都是递归。对于求解斐波拉契数列来说，递归的实现方式的效率是极其低下的。在此，我贴出三种实现（递归，迭代，动态规划）：我们先看代码的执行效果：再看代码实现：package com.aura.funny.fibonacci;import java.util.HashMap;import java.util...
2019-06-11 08:33:53
13045
4
原创 虚拟机 磁盘压缩
问题虚拟机越来越大，只能扩容，不能压缩变小节省磁盘空间，甚为苦恼。在网上找了各种资料，基本上，都是不合适的方式，不是我们想要的方式，我把最适合我们方式的一种方法贴出来，方便大家首先看效果：压缩的前后对比具体实施操作步骤：1、开机首先保证虚拟机是开机状态2、安装VMWare Tools如果没有安装成功，则自行百度解决...
2019-06-10 08:35:09
14833
1
原创 Kafka面试题
Kafka是现在流行的消息中间件，在大数据开发面试中被问到的可能性非常大，下面放出一些kafka面试中，经常可能被问到的kafka的面试题，大家可以学习学习： Kafka的用途有哪些？使用场景如何？ Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么 Kafka中的HW、LEO、LSO、LW等分别代表什么？ Kafka中是怎么体现消息顺序性的？ ...
2019-06-07 07:40:03
16636
2
hadoop-eclipse-plugin-2.7.4.jar
2017-09-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人