使用Java实战RDD与Dataframe动态转换

最新推荐文章于 2024-08-29 08:02:12 发布

黄色沙琪玛

最新推荐文章于 2024-08-29 08:02:12 发布

阅读量9.4k

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/zhanglin200508/article/details/51340585

版权

本文展示了如何在Java中将RDD转换为DataFrame，并进行动态元数据构建、DataFrame操作，包括从文本文件读取数据，转换为Row对象，构建DataFrame结构，注册临时表，执行SQL查询以及结果处理和持久化。

摘要由CSDN通过智能技术生成

import java.util.ArrayList;
import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.RowFactory;
import org.apache.spark.sql.SQLContext;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;
import org.relaxng.datatype.Datatype;

/** 
 * @author 作者 E-mail: 
 * @version 创建时间：2016年3月16日 下午9:46:11 
 * 类说明 
 */
public class RDD2DataFrame {
    public static void main( String[] args ) {
        SparkConf conf = new SparkConf().setMaster("local").setAppName("");
        JavaSparkContext sc = new JavaSparkContext(conf);
        SQLContext sqlContext = new SQLContext(sc);
        JavaRDD<Str