pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换

最新推荐文章于 2024-10-06 00:51:11 发布

birdlove1987

最新推荐文章于 2024-10-06 00:51:11 发布

阅读量2.9w

点赞数 5

分类专栏： spark 文章标签： spark python dataframe 数据分析

本文链接：https://blog.csdn.net/zhurui_idea/article/details/72981715

版权

本文介绍了如何在PySpark和Pandas之间进行DataFrame的转换。通过代码示例展示了具体的转换步骤，包括从PySpark DataFrame到Pandas DataFrame以及反之的转换过程，适用于大数据分析场景。

摘要由CSDN通过智能技术生成

代码如下，步骤流程在代码注释中可见：

# -*- coding: utf-8 -*-
import pandas as pd
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark import SparkContext

#初始化数据

#初始化pandas DataFrame
df = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3'])

#打印数据
print df

#初始化spark DataFrame
sc = SparkContext()
if __name__ == "__main__":
    spark = SparkSession\
        .builder\
        .appName("testDataFrame")\
        .getOrCreate()

sentenceData = spark.createDataFrame([
    (0.0, "I like Spark"),
    (1.0, "Pandas is useful"),
    (2.0, "They are coded by Python ")
], ["label", "sentence"])

#显示数据
sentenceData.select("label").show()

#spark.DataFrame 转换成 pandas.DataFrame
sqlContest