spark
zyj20200
这个作者很懒,什么都没留下…
展开
-
spark standalone搭建记录(未完待续)
1、解压spark压缩文件2、conf文件夹下: slaves.template--配置从节点hostname spark-env-template.sh--spark Master配置 重命名这两个文件 slaves spark-env.sh:export JAVA_HOME=/usr/java/jdk1.7.0_8...原创 2018-08-09 10:44:03 · 117 阅读 · 0 评论 -
pyspark读写操作
目录 1. 连接spark2. 创建dataframe 2.1. 从变量创建2.2. 从变量创建2.3. 读取json2.4. 读取csv2.5. 读取MySQL2.6. 从pandas.dataframe创建2.7. 从列式存储的parquet读取2.8. 从hive读取3. 保存数据 ...转载 2018-08-15 08:54:48 · 3180 阅读 · 0 评论 -
pycharm 开发 spark 程序 配置
方法一: 1.pycharm 中 peoject structer 配置:2.py文件添加SPARK_HOME 和 HADOOP_HOME 方法二:1.在C:\Anaconda3\Lib\site-packages目录下新建pyspark.pth,内容是D:\2_job\learning\py_spark\support_file\spark-2.3.1-bi...原创 2018-08-15 09:56:02 · 538 阅读 · 0 评论 -
Ubuntu 执行spark程序异常(Python版本问题)
Ubuntu下,在pycharm中执行spark程序,出现如下异常信息:org.apache.spark.api.python.PythonException: Traceback (most recent call last): File "/home/z/module/spark-2.3.1-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/w...原创 2018-08-15 13:45:37 · 1531 阅读 · 0 评论