spark
川渝小帮手
后端架构师,springcloud 微服务,公众号-川渝小帮手
展开
-
Scala基础知识
要深入学习大数据,spark,kafka是必须精通的,然而spark,kafka的源码都是用Scala写的,因此作为一个大数据工程师,Scala是必须精通,而且Scala语言有面向对象和函数式编程两大特点,相信熟悉之后一定会喜欢上它1 伴生对象 其中伴生对象中的变量是静态变量,方法是静态方法eg:第一步 :新建Person类class Person { private val id ...原创 2018-06-30 15:01:40 · 132 阅读 · 0 评论 -
spark基础知识
通过最近公司对spark的应用,在应用过程中加深了对spark基础原理的理解原创 2018-06-20 17:29:27 · 145 阅读 · 0 评论 -
sparkSQL 应用
sparkSQL的应用,有利于帮助我们快速上手spark,在一定程度上减少代码开发,降低开发门槛原创 2018-06-20 17:34:37 · 111 阅读 · 0 评论 -
Spark Streaming整合flume 实战应用
SparkStreaming整合flume实战原创 2019-08-23 13:58:26 · 170 阅读 · 0 评论 -
scala 编程注意点
1 //使用关键词 "var" 声明变量,使用关键词 "val" 声明常量 2 / 除号 B / A 运算结果为 2 % 取余 B % A 运算结果为 0 3 Range i to j ,或者 i until j for( x <- Range ){ statement(s); }4 函数与方法 函数:可以作为参数...原创 2018-06-25 15:39:12 · 299 阅读 · 0 评论 -
scala 集合数组处理
在使用spark的时候,选择scala会让代码感觉行云流水,小结一下scala中的集合,数组处理的方法1 元组数据获取val pair = Array(("hadoop"->90),("flume"->100))2 list 元素添加3 函数式处理 map ,groupby4 处理list.flatMap(_.split(" ")).map((...原创 2019-01-10 10:02:58 · 730 阅读 · 0 评论