技术
度娘818
追求完美
展开
-
window10搭建pyspark的两种方法(基于spark-3.0.0-bin-hadoop2)
最最简便的方法就是直接pip install pyspark如果安装出现timeout,可以下载pyspark-3.0.0.tar,然后离线安装方法:cd进入pyspark-3.0.0.tar解压的目录,里面有个setup.py然后运行命令:python setup.py install, 等待安装完成,所以的环境问题都一次帮你解决完。-----------------------------------------下面是笨方法--------------------------------原创 2020-09-04 22:17:01 · 1098 阅读 · 0 评论 -
Hadoop3.3.0完全分布式部署
一、配置hadoop1.1 总纲采用1+1+3的集群配置(一台主服务器,一台备主服务器,3台从服务器)这些配置都只是先在master1作,然后用命SCP拷贝复制到其它服务器下载最新hadoop镜像:hadoop-3.3.0解压到相应目录配置环境变量在/etc/hosts, /etc/profile,hadoop-en.sh, yarn-en.sh, mapreduce-env.sh修改文件目录权限设置免密登录配置相应文件:workers, core-site.xmlhdfs-site.x原创 2020-08-05 17:19:49 · 2732 阅读 · 1 评论 -
Linux, gdb 调试命令
DB是GNU开源组织发布的一个强大的UNIX下的程序调试工具,GDB主要可帮助工程师完成下面4个方面的功能:启动程序,可以按照工程师自定义的要求随心所欲的运行程序。 让被调试的程序在工程师指定的断点处停住,断点可以是条件表达式。 当程序被停住时,可以检查此时程序中所发生的事,并追索上文。 动态地改变程序的执行环境。 不管是调试Linux内核空间的驱动还是调试用户空间的应用程序,掌握gd转载 2012-12-19 20:17:21 · 635 阅读 · 0 评论 -
Ubuntu(Linux)使用Eclipse搭建C/C++编译环境
原文:http://www.cppblog.com/kangnixi/archive/2010/02/10/107636.html 入正题了。 首先是安装Eclipse,方法有两种: 第一种是通过Ubuntu自带的程序安装功能安装Eclipse,应用程序->Ubtuntu软件中心,搜Eclipse安装即可。 第二种方法是用命令:应转载 2012-12-19 21:15:10 · 363 阅读 · 0 评论