pyspark读取csv文件，并一次性把数据写入数据库

pyspark读取csv文件，并一次性把数据写入数据库

csv中可能会有空值
pyspark读取csv后，数据有null值无法插入数据库，利用下面这条命令把null转化为None，确保数据能插入数据库表中
raw_date.astype(object).where(pd.notnull(raw_date),None)

import pandas as pd
from pyspark import SQLContext
from pyspark.sql import SparkSession
import pymssql


# 利用SQLContext读取csv文件
spark=SparkSession.builder.appName('bianzu'