spark
文章平均质量分 52
zwmonk
这个作者很懒,什么都没留下…
展开
-
sparkstreaming整合kafka实时流处理的pom文件模板
原创 2018-10-03 16:01:34 · 1208 阅读 · 0 评论 -
storm实时处理视频从入门到精通
链接:https://pan.baidu.com/s/13iG1edycP5UmrXNwcXZsxw 提取码:k39y原创 2018-10-03 16:21:41 · 904 阅读 · 0 评论 -
spark使用状态函数updateStateByKey算子实现数据入库
def calcProvinceClickTop(dateProvinceCityAdCountsDS:DStream[(String, Int)], sqlContext:SQLContext): Unit = { //当前批次的记录 val dateProvinceAdCounts:DStream[(String, Int)] = dateProvinceCityAdCountsDS.map{...原创 2018-10-04 09:36:08 · 371 阅读 · 0 评论 -
SparkStreaming整合kafka直连模式direct方式
org.apache.spark spark-streaming_2.10 1.6.2 org.apache.spark spark-streaming-kafka_2.10 1.6.2 val checkpoint =“hdfs://bdha/checkpoint” val conf = new Spark...原创 2018-10-05 20:11:24 · 981 阅读 · 0 评论 -
spark使用java的api读取mysql的几种方式
public class CreateDFFromMysql { public static void main(String[] args) { SparkConf conf = new SparkConf(); conf.setMaster(“local”).setAppName(“mysql”); /** * 配置join或者聚合操作shuffle数据时分区的数量 / conf.set(“...原创 2019-05-19 13:28:43 · 837 阅读 · 0 评论 -
spark通过java的api创建hive的UDF用户自定义函数
public class UDF { public static void main(String[] args) { SparkConf conf = new SparkConf().setMaster(“local”).setAppName(“udf”); JavaSparkContext sc = new JavaSparkContext(conf); SQLContext sqlConte...原创 2019-05-19 13:37:45 · 935 阅读 · 1 评论