![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据计算组件
计算引擎 spark,flink
龟速扣代码
大数据开发工程师
展开
-
使用Ip2Region将IP值转换为地址(impala,spark)
ip转换省份,城市, ip2regionimpala, sparksql,自定义udf,spark原创 2022-05-10 17:47:10 · 1421 阅读 · 0 评论 -
flink windows的wordcount demo(离线和实时)
1.新建maven项目,pom文件新增如下代码 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.7.2</version> </dependency>原创 2021-03-04 15:09:09 · 418 阅读 · 1 评论 -
flink2_ source读取数据
在flink程序流程中属于第二步从集合或文件中读取// 从集合中读取env.fromCollection(Arrays.asList( "hello java", "hello spark", "hello flink", "hello scala"));// 从文件中读取env.readTextFile("<filePath>");从kaf原创 2021-03-16 16:54:22 · 316 阅读 · 0 评论 -
flink03_基本算子,map, flatMap, filter
Map算子: 类似spark的map算子,功能是转换数据类型,输入和输出的数量是1对1。下列例子是,将输入的String 转化为 string的长度flatMap算子: 类似spark的flatMap, 功能是转换数据类型,输入和输出的数量可以是 1对多。 下列例子是分词, 将输入的整数数据 按照 " , " 分割,加上10后输出。filter算子: 类似spark的filter,符合规则 就输出。 下列例子是 输入一组 整数数据,将偶数输出。package com.flinkTest.tra原创 2021-03-16 17:10:34 · 261 阅读 · 0 评论