spark连接数据库在前面有提到过,在这里就不多说了,接下来就说下使用刚和大家讲过的pyspark连接数据库,以MySQL为例,确认已经安装好了MySQL数据库在windows系统和linux下,假设数据库名叫test,表名叫student,mysql驱动包可以到官网取下,也可以到本地maven库中去拷贝,这些都不是重点,重点是要把驱动包放哪?
驱动存放位置
在Windows系统下放驱动包的地方已经和大家说过,其实在Linux系统下放驱动包的地方有点类似,也是找到安装jdk的目录,放在下面的\jre\lib\ext目录下,而不是放在jar目录下。
先说下在Linux系统下使用pyspark连接数据库:
如何安装pyspark前面已经和大家说过,还没安装过的可以再去看看Pyspark简介及详细安装,启动pyspark,后,打开jupyter进行操作
查询表student中的数据:
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("test").master("local[*]").getOrCreate()
spark.read.format("jdbc").options(
url = "jdbc:mysql://192.168.5.150:3306/test?user=root&password=1234",dbtable=“student”
).