大家都知道Spark可以和各种数据库进行连接并读取数据,前面已经和大家说过如何使用spark连接hive,今天就说说如何连接mysql并读取数据。
方法一:在linux下使用spark连接mysql
首先在hive的 lib中拷贝mysql依赖包到spark的jars下或者直接把驱动包复制到jars目录下
cp /opt/soft/hive110/lib/mysql-connector-java-5.1.38.jar /opt/soft/spark240/jars/
在bin目录下启动./spark-shell界面操作
配置url,tableName,prop
#配置url
val url = "jdbc:mysql://spark1:3306/dtatbase_name"
#配置表名
val tableName = "users"
// 设置连接用户、密码、数据库驱动类
val prop = new java.util.Properties
prop.