public class CreateDFFromMysql {
public static void main(String[] args) {
SparkConf conf = new SparkConf();
conf.setMaster(“local”).setAppName(“mysql”);
/**
* 配置join或者聚合操作shuffle数据时分区的数量
/
conf.set(“spark.sql.shuffle.partitions”, “1”);
JavaSparkContext sc = new JavaSparkContext(conf);
SQLContext sqlContext = new SQLContext(sc);
/*
* 第一种方式读取MySql数据库表,加载为DataFrame
/
Map<String, String> options = new HashMap<String,String>();
options.put(“url”, “jdbc:mysql://192.168.179.4:3306/spark”);
options.put(“driver”, “com.mysql.jdbc.Driver”);
options.put(“user”, “root”);
options.put(“password”, “root”);
options.put(“dbtable”, “person”);
DataFrame person = sqlContext.read().format(“jdbc”).options(options).load();
person.show();
person.registerTempTable(“person1”);
/*
* 第二种方式读取MySql数据表加载为Da
spark使用java的api读取mysql的几种方式
最新推荐文章于 2024-05-03 16:10:43 发布