模板和参数

 mysql连接参数  useSSL=false !!!!

jdbc:mysql://192.168.88.166:3306/tfec_tags?useSSL=false&useUnicode=true&characterEncoding=utf8&user=root&password=123456

写入到es

result_df.write.format('es') \
        .option('es.nodes', rule4_meta.esNodes) \
        .option('es.resource', 'insurance_tags') \
        .option('es.write.operation', 'upsert') \
        .option('es.mapping.id', 'userId') \
        .option('es.mapping.name', "userId:userId,tagsId:tagsId") \
        .mode('append') \
        .save()

从es读 'es.mapping.date.rich','false' 关闭自动解析：由夏令时引起日期无法解析（spark cannot parse value），添加es时，添加一下参数：option("es.mapping.date.rich", False)

join 报错的话可以添加环境变量 os.environ["TZ"] = "UTC"

es_df = spark.read.format('es')\
        .option('es.nodes',rule4_meta.esNodes)\
        .option('es.resource',rule4_meta.esIndex)\
        .option('es.read.field.include',rule4_meta.selectFields)\
        .option('es.mapping.date.rich','false')\
        .load()