Scala 闭包
函数在变量不处于其有效作用域时,还能对变量进行访问。下面举例说明:
// 定义函数,它的返回值是一个匿名函数
def getFunc(msg : String) = (name : String) => println(msg + "," + name)
// 定义两个函数变量
val fuc1 = getFunc("hello")
val fuc2 = getFunc("hi")
// 运行
fuc1("world")
fuc2("java")
如上所示,getFunc它传入了两个不同的msg,并返回了两个不同的变量,这里msg只是一个临时变量,但是在getFunc创建完之后,还可以继续保存在创建的函数变量fuc1和fuc2中。调用fuc1(“world”),值为"hello"的msg被保留在了函数内部,也反复使用,已经超出了它的作用域,这种情况就是闭包。
其实Scala通过为每个函数创建一个对象来实现闭包,对于getFunc函数创建的函数,msg作为函数对象存在,不同的函数拥有不同的msg。
其实在Spark源码中有多处使用到了闭包,典型的比如在RDD算子函数中,map、flatMap等,有一个clean(f)的操作,就是为了清除闭包。如果算子函数需要使用外部变量,那么Driver端会将数据拷贝到每个task节点上,对于大变量可以使用broadcast。
Java闭包
在Java中,闭包一般使用 接口 + 内部类实现,内部类也可以是匿名内部类。在Java8中,有了Lambda表达式,它实际上也是匿名类。
特点
- 不能访问封装类的非final成员
如果有一个匿名内部类有一个成员变量与外部成员名称相同,那么内部内会覆盖外部成员变量,这种情况下,外部成员在匿名内部类是不可见的,也不能使用this关键字来访问。
public void test() {
String str = "string in test";
new Thread(
new Runnable(){
String str = "string in runnable";
public void run() {
String str = "string in run";
System.out.println(str);
System.out.println(this.str);
}
}
).start();
}
// 输出结果
string in run
string in runnable
- functional interfaces
一个只有一个方法的接口。大多数的回调接口都是functional interfaces,比如runnable、callable等 - Lambda表达式
Lambda表达式实际上也是匿名类,它看起来更像是方法,我们用它来实现闭包。
public class closure {
String str = "string in closure";
public static void main(String[] args){
new closure().test();
}
public void test() {
String str = "string in test";
new Thread(
() -> {
System.out.println(str);
System.out.println(this.str);
}
).start();
}
}
// 运行结果
string in test
string in closure
Lambda表达式解决了匿名内部类访问外部变量的可见性问题,它不允许创建覆盖变量,如果定义那么会直接报错。
5. 闭包可能出现的问题
会导致变量的生命周期变长;闭包间共享变量使用final关键字。
如下所示:
public class DefaultMethod {
public static void main(String[] args){
MyClass my = new MyClass();
It it = my.subNum();
it.sub();
it.sub();
my = null;
System.out.println("myclass is null");
it.sub();
it.sub();
}
}
interface It {
void sub();
}
class MyClass {
public int num = 10;
public MyClass() {
System.out.println("init num = " + num);
}
public It subNum() {
return () -> {
num--;
System.out.println("num = " + num);
};
}
}
init num = 10
num = 9
num = 8
myclass is null
num = 7
num = 6
MyCalss对象已经为null,但是it依然可以使用。