zjx546391707的博客

相信很多在windows机器上运行spark的同志们都遇到过这个问题，原因就不说了，直接说解决办法：点击winutils.exe下载文件并存放在任意路径。如C:\winutil\bin。然后再程序开始部分添加如下代码就能不报这个糟心的错误（处女座是真受不了！）：附原文链接System.setProperty("hadoop.home.dir","G:\\winutil\\");

查看了spark2.2.0的api接口发现到了java语言就变成了undocument，很无奈，经过多次试验实现了通过实现UDF1对Dataset中某一列数据的修改。代码如下spark.udf().register("convert", new UDF1<String, Integer>() { @Override public Inte...