pyspark使用hbase详解

最新推荐文章于 2023-05-12 23:15:48 发布

小码良

最新推荐文章于 2023-05-12 23:15:48 发布

阅读量2k

点赞数 1

分类专栏： python 文章标签： python pyspark hbase

本文链接：https://blog.csdn.net/zll_1234/article/details/119147222

版权

本文详细介绍了在pyspark中使用hbase时遇到的两类问题及其解决方案：一是找不到类StringToImmutableBytesWritableConverter，二是找不到方法org.apache.hadoop.hbase.client.Put.add。解决方法包括更新jar包、修改spark-env.sh配置以及重新编译spark-examples源码。

摘要由CSDN通过智能技术生成

pyspark使用hbase详解

一、测试代码：

def write2hbase():
    from pyspark.sql import SparkSession
    from pyspark import SparkContext, SparkConf

    spark = SparkSession.builder.appName("nlp").getOrCreate()  # 创建spark对象
    print('spark对象已创建')
    host = 'emr1:2181,emr2:2181,emr3:2181'
    table = 'article_test'
    keyConv = "org.apache.spark.examples.pythonconverters.StringToImmutableBytesWritableConverter"
    valueConv = "org.apache.spark.examples.pythonconverters.StringListToPutConverter"
    conf = {