![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
zkf541076398
认真对待数据,分析可用数据
展开
-
spark开发环境搭建(基于idea 和maven)
转载文章出自:http://blog.csdn.net/u012373815/article/details/53266301使用idea构建maven 管理的spark项目 ,默认已经装好了idea 和Scala,mac安装Scala 那么使用idea 新建maven 管理的spark 项目有以下几步:scala插件的安装全局JDK和Library的设置配置全局的Scala SDK新建maven...转载 2018-02-09 17:03:43 · 10272 阅读 · 1 评论 -
Spark Structured Streaming入门编程指南
Spark结构式流编程指南概览Structured Streaming 是一个可拓展,容错的,基于Spark SQL执行引擎的流处理引擎。使用小量的静态数据模拟流处理。伴随流数据的到来,Spark SQL引擎会逐渐连续处理数据并且更新结果到最终的Table中。你可以在Spark SQL上引擎上使用DataSet/DataFrame API处理流数据的聚集,事件窗口,和流与批次的连接操作等。最后St...转载 2018-04-14 12:18:52 · 382 阅读 · 0 评论 -
搭建分布式Spark计算平台
集群机器规划三台机器的操作系统全部为CentOS7.2.主机名称 IP地址master 192.168.1.106slave1 192.168.1.107slave2 192.168.1.108其中master为hadoop的namenode,slave1和slave2为hadoop的datananode。如果安装spark的话,master、slave1和slave2都是...转载 2018-04-14 15:42:13 · 2504 阅读 · 0 评论 -
Spark快速入门之SBT安装
安装sbt本文方法有些繁琐,可以查看github最新更新:用sbt编译spark源码linux版本:CentOS6.7sbt: 0.13.9123Spark中没有自带sbt,需要手动安装sbt,我的方法是下载sbt-launch.jar,然后将源改为国内源(aliyun),我选择将sbt安装在/usr/local/sbt中。$sudo mkdir /usr/local/sbt$sudo...转载 2018-05-07 09:27:46 · 495 阅读 · 0 评论 -
Spark在美团的实践
前言美团是数据驱动的互联网服务,用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志,这些日志数据将被汇总处理、分析、挖掘与学习,为美团的各种推荐、搜索系统甚至公司战略目标制定提供数据支持。大数据处理渗透到了美团各业务线的各种应用场景,选择合适、高效的数据处理引擎能够大大提高数据生产的效率,进而间接或直接提升相关团队的工作效率。 美团最初的数据处理以Hive SQL为主,底层计算引擎为Ma...转载 2018-05-21 22:23:13 · 187 阅读 · 0 评论 -
美团Spark性能优化指南——基础篇
前言在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Spark。大多数同学(包括笔者在内),最初开始尝试使用Spark的原因很简单,主要就是为了让大数据计算作业的执行速度更快、...转载 2018-05-21 22:31:39 · 209 阅读 · 0 评论 -
美团点评 spark性能优化指南-高级篇
前言:最近开始玩spark,公司分享了一些不错的spark性能优化学习,故在此分享:http://tech.meituan.com/spark-tuning-pro.html 前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。 数据倾斜调优 调优概述有的时候,...转载 2018-05-21 22:32:45 · 744 阅读 · 0 评论 -
实时数据产品实践——美团大交通战场沙盘
背景 大数据时代,数据的重要性不言而喻,尤其对于互联网公司,随着业务的快速变化,商业模式的不断创新、用户体验个性化、实时化需求日益突出,海量数据实时处理在商业方面的需求越来越大。如何通过数据快速分析出用户的行为,以便做出准确的决策,越来越体现一个公司的价值。现阶段对于实时数据的建设比较单一,主要存在以下问题:实时仓库建设不足,维度及指标不够丰富,无法快速满足不同业务需求。实时数据和离线数据对比...转载 2018-06-02 17:12:16 · 2787 阅读 · 0 评论 -
Spark性能优化:数据倾斜调优
前言 继《Spark性能优化:开发调优篇》和《Spark性能优化:资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。 1.数据倾斜调优 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差...转载 2018-06-02 16:23:13 · 510 阅读 · 0 评论 -
sparkSQL的整体实现框架
这篇博客的目的是让那些初次接触sparkSQL框架的童鞋们,希望他们对sparkSQL整体框架有一个大致的了解,降低他们进入spark世界的门槛,避免他们在刚刚接触sparkSQL时,不知所措,不知道该学习什么,该怎么看。这也是自己工作的一个总结,以便以后可以回头查看。后续会对sparkSQL进行一系列详细的介绍。慢慢来吧~~~1、sql语句的模块解析 当我们写一个查询语句时,一般包含三个部分...转载 2018-04-14 12:16:33 · 150 阅读 · 0 评论 -
sparkSQL实战详解
摘要 如果要想真正的掌握sparkSQL编程,首先要对sparkSQL的整体框架以及sparkSQL到底能帮助我们解决什么问题有一个整体的认识,然后就是对各个层级关系有一个清晰的认识后,才能真正的掌握它,对于sparkSQL整体框架这一块,在前一个博客已经进行过了一些介绍,如果对这块还有疑问可以看我前一个博客:http://9269309.blog.51cto.com/92593...转载 2018-04-14 12:15:36 · 1635 阅读 · 0 评论 -
Spark性能优化指南-基础篇
前言在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Spark。大多数同学(包括笔者在内),最初开始尝试使用Spark的原因很简单,主要就是为了让大数据计算作业的执行速度更快、...转载 2018-03-03 15:37:07 · 135 阅读 · 0 评论 -
Spark性能优化指南-高级篇
前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的...转载 2018-03-03 15:38:18 · 156 阅读 · 0 评论 -
Spark官方调优文档翻译
Spark调优由于大部分Spark计算都是在内存中完成的,所以Spark程序的瓶颈可能由集群中任意一种资源导致,如:CPU、网络带宽、或者内存等。最常见的情况是,数据能装进内存,而瓶颈是网络带宽;当然,有时候我们也需要做一些优化调整来减少内存占用,例如将RDD以序列化格式保存(storing RDDs in serialized form)。本文将主要涵盖两个主题:1.数据序列化(这对于优化网络性...转载 2018-03-03 15:39:10 · 203 阅读 · 0 评论 -
Spark SQL在100TB上的自适应执行实践
Spark SQL是Apache Spark最广泛使用的一个组件,它提供了非常友好的接口来分布式处理结构化数据,在很多应用领域都有成功的生产实践,但是在超大规模集群和数据集上,Spark SQL仍然遇到不少易用性和可扩展性的挑战。为了应对这些挑战,英特尔大数据技术团队和百度大数据基础架构部工程师在Spark 社区版本的基础上,改进并实现了自适应执行引擎。本文首先讨论Spark SQL在大规模数据集...转载 2018-03-03 15:41:06 · 256 阅读 · 0 评论 -
IntelliJ IDEA使用教程
这个编辑器我就不再多做介绍了。直接开始新建maven hello world 的Java web项目啦你电脑上得有jdk1.7,或者1.8,然后就是maven3.x吧,再有就是tomcat7以上吧。还得有我这个编辑器。这些是准备条件下面就直接开始看图啦:这个我刚刚开始没注意细看,原来web app 的骨架有2个呢,我一开始一直选择的是第一个,因为搜索的时候,一直以为匹配结果就一个,后来才发现下面的...转载 2018-03-03 15:52:18 · 345 阅读 · 0 评论 -
用Apache Spark进行大数据处理-第一部分:入门介绍
什么是SparkApache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势。 首先,Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和数据...转载 2018-03-04 20:15:36 · 3941 阅读 · 1 评论 -
用Apache Spark进行大数据处理-第二部分:Spark SQL
在Apache Spark文章系列的前一篇文章中,我们学习了什么是Apache Spark框架,以及如何用该框架帮助组织处理大数据处理分析的需求。 Spark SQL,作为Apache Spark大数据框架的一部分,主要用于结构化数据处理和对Spark数据执行类SQL的查询。通过Spark SQL,可以针对不同格式的数据执行ETL操作(如JSON,Parquet,数据库)然后完成特定的查询操作。 ...转载 2018-03-04 20:16:03 · 469 阅读 · 0 评论 -
用Apache Spark进行大数据处理-第三部分:Spark流
来自: http://www.infoq.com/cn/articles/apache-spark-streaming介绍在“用Apache Spark进行大数据处理”系列的前两篇文章中,我们看到了Apache Spark框架是什么(第一部分)还有如何使用Spark SQL库访问数据的SQL接口(第二部分)。 这些方案是基于批处理模式下静态信息处理的,比如作为一个按小时或天运行的任务。但若是在数据...转载 2018-03-04 20:16:49 · 1358 阅读 · 0 评论 -
Spark Streaming + ES构建美团App异常监控平台
如果在使用App时遇到闪退,你可能会选择卸载App、到应用商店怒斥开发者等方式来表达不满。但App开发者也同样感到头疼,因为App Crash(崩溃)可能意味着:用户流失、营收下滑。为了降低崩溃率,进而提升App质量,App开发团队需要实时地监控App异常。一旦发现严重问题,及时进行热修复,从而把损失降到最低。App异常监控平台,就是将这个方法服务化。本篇以核心需求为中心,逐一展开介绍,如何使用S...转载 2018-06-02 16:42:13 · 798 阅读 · 0 评论