大数据计算组件
计算引擎 spark,flink
龟速扣代码
大数据开发工程师
展开
-
使用Ip2Region将IP值转换为地址(impala,spark)
ip转换省份,城市, ip2region impala, sparksql,自定义udf,spark原创 2022-05-10 17:47:10 · 1407 阅读 · 0 评论 -
flink windows的wordcount demo(离线和实时)
1.新建maven项目,pom文件新增如下代码 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.7.2</version> </dependency>原创 2021-03-04 15:09:09 · 410 阅读 · 1 评论 -
flink2_ source读取数据
在flink程序流程中属于第二步 从集合或文件中读取 // 从集合中读取 env.fromCollection(Arrays.asList( "hello java", "hello spark", "hello flink", "hello scala")); // 从文件中读取 env.readTextFile("<filePath>"); 从kaf原创 2021-03-16 16:54:22 · 311 阅读 · 0 评论 -
flink03_基本算子,map, flatMap, filter
Map算子: 类似spark的map算子,功能是转换数据类型,输入和输出的数量是1对1。下列例子是,将输入的String 转化为 string的长度 flatMap算子: 类似spark的flatMap, 功能是转换数据类型,输入和输出的数量可以是 1对多。 下列例子是分词, 将输入的整数数据 按照 " , " 分割,加上10后输出。 filter算子: 类似spark的filter,符合规则 就输出。 下列例子是 输入一组 整数数据,将偶数输出。 package com.flinkTest.tra原创 2021-03-16 17:10:34 · 252 阅读 · 0 评论