Spark中DataFrame与Pandas中DataFrame相互转换

最新推荐文章于 2024-07-01 17:24:40 发布

天ヾ道℡酬勤

最新推荐文章于 2024-07-01 17:24:40 发布

阅读量5.5k

点赞数 9

分类专栏： spark pyspark

本文链接：https://blog.csdn.net/zp17834994071/article/details/108644954

版权

这篇博客探讨了在PySpark中如何进行Spark DataFrame与Pandas DataFrame的相互转换，以及Spark DataFrame与RDD的转换。内容包括PySpark DataFrame与Python Pandas库中DataFrame的数据结构互换，以满足不同场景下的数据处理需求。

摘要由CSDN通过智能技术生成

Spark中DataFrame前面已经给大家介绍过了，以及RDD、DataSet、DataFrame之间相互转换，而PySpark可以说是Spark和python的结合体，PySpark中也使用DataFrame，也可以与RDD、DataSet之间相互转换，其实python中有个Pandas库，也有DataFrame，是由多列Series组成的数据结构，有时需要将他们相互转化才能使用。

Spark与Pandas中的DataFrame相互转换

import pandas as pd

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("test").getOrCreate()

#创建pandas DataFrame

df = pd.DataFrame([["zhangsan",25