背景
flink本身给我们提供了大量的内置函数,已经能满足我们绝大部分的需求,但是如果确实是碰到了一些特殊的场景,无法满足我们的需求的时候,我们可以自定义函数来解决,今天我们主要讲一下最简单的自定义函数-ScalarFunction。
标量函数的入参可以是0个、1个或者多个值,然后返回值是一个值。
实现标量函数需要继承抽象类ScalarFunction,然后定一个名称为eval且为public类型的函数。
实例讲解
定义函数
定义标量函数有多重方式,我们下面来简单的看下:
/**
* 接受两个int类型的参数,然后返回计算的sum值
*/
public static class SumFunction extends ScalarFunction{
public Integer eval(Integer a, Integer b){
return a + b;
}
}
/**
* 接收非空的int或者boolean类型
*/
public static class StringifyFunction extends ScalarFunction{
public String eval(int i){
return String.valueOf(i);
}
public String eval(boolean b){
return String.valueOf(b);
}
}
/**
*接收非空的int或者boolean类型,通过注解方式实现,flink 1.11版本后支持
*/
@FunctionHint(input = [@DataTypeHint("INT")])
@FunctionHint(input = [@DataTypeHint("BOOLEAN")])
public static class StringifyFunction extends ScalarFunction {
public String eval(Object o) {
return o.toString();
}
}
/**
* 接收任何类型的值,然后把它们转成string
*/
public static class StringifyFunction1 extends ScalarFunction{
public String eval(@DataTypeHint(inputGroup = InputGroup.ANY) Object o){
return o.toString();
}
}
通过程序注册函数
//通过程序的方式来注册函数
SumFunction sumFunction = new SumFunction();
tableEnv.registerFunction("mysum", sumFunction);
Table table1 = tableEnv.sqlQuery("select mysum(1,2)");
tableEnv.toAppendStream(table1, Row.class).print();
通过sql注册函数
//通过sql的方式来注册函数
String className = SumFunction.class.getName();
String sql = "create temporary function default_catalog.default_database.mysum1" +
" as '" + className + "'";
tableEnv.sqlUpdate(sql);
Table table2 = tableEnv.sqlQuery("select mysum1(3,4)");
tableEnv.toAppendStream(table2, Row.class).print();
之后我们可以通过StreamTableEnvironment类的listFunctions方法列出来所有的函数来看下我们自定义的函数是否在其中.
//列出来所有的函数,看是否包含我们定义的函数
String[] functions = tableEnv.listFunctions();
Stream.of(functions).filter(f->f.startsWith("mysum")).forEach(System.out::println);
最后如果自定义的jar和主程序不在一个jar包,通过命令行提交任务的时候,记得通过参数–classpath(简写-C)将包含自定义函数的jar添加到classpath里。
今天的这个比较简单,就不多说了,完整的代码请参考
https://github.com/zhangjun0x01/bigdata-examples/blob/master/flink/src/main/java/sql/function/CustomScalarFunction.java
更多精彩内容,欢迎关注我的公众号【大数据技术与应用实战】,一起成长