Pyspark和MySQL建立连接,并插入数据

本文介绍了如何在Linux系统下使用Pyspark连接MySQL数据库,包括驱动包的存放位置、启动Pyspark、在Jupyter中操作以及如何查询和插入数据。特别提醒,必须将MySQL驱动放到JRE的lib/ext目录下才能生效,直接安装mysql-connector-python是无效的。
摘要由CSDN通过智能技术生成

spark连接数据库在前面有提到过,在这里就不多说了,接下来就说下使用刚和大家讲过的pyspark连接数据库,以MySQL为例,确认已经安装好了MySQL数据库在windows系统和linux下,假设数据库名叫test,表名叫student,mysql驱动包可以到官网取下,也可以到本地maven库中去拷贝,这些都不是重点,重点是要把驱动包放哪?

驱动存放位置
在Windows系统下放驱动包的地方已经和大家说过,其实在Linux系统下放驱动包的地方有点类似,也是找到安装jdk的目录,放在下面的\jre\lib\ext目录下,而不是放在jar目录下。

先说下在Linux系统下使用pyspark连接数据库
如何安装pyspark前面已经和大家说过,还没安装过的可以再去看看Pyspark简介及详细安装,启动pyspark,后,打开jupyter进行操作

查询表student中的数据:

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("test").master("local[*]").getOrCreate()

spark.read.format("jdbc").options(
url = "jdbc:mysql://192.168.5.150:3306/test?user=root&password=1234",dbtable=“student”
).
  • 4
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值