使用spark sql 读写数据库（python实现）

#!/usr/bin/evn python3

from pyspark.sql import Row
from pyspark.sql.types import *
from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSession


spark = SparkSession.builder.config(conf=SparkConf().getOrCreate())

# 下面设置模式信息
schema = StringType([StructField("id", IntegerType(), True),
                     StructField("name", StringType(), True),
                     StructField("age", IntegerType(), True),
                     StructField("gender", StringType(), True)])

studentRDD = spark.sparkContext.parallelize(["3 rongcheng 26 M", "4 guanhua 18 L"]).map(lambda x: x.split(" "))

# 下面创建Row对象，每个Row对象都是rowrdd中的一行
rowRDD = studentRDD.map(lambda p: Row(int(p[0].strip()), p[1].strip(), p[2].strip(), int(p[3].strip())))

# 建立起Row对象和模式之间的对应关系，也就是把数据和模式对应起来
studentDf = spark.createDataFrame(rowRDD, schema)

# 写入数据库
prop = {}
prop['user'] = "root"
prop['password'] = '123456'
prop['driver'] = 'com.mysql.jdbc.Driver'
studentDf.write.jdbc("jdbc:mysql://localhost:3306/spark", 'student', 'append', prop)