![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
张之海
硕士毕业于东北大学,现就职于北京某猫头鹰公司,大数据工程师职位。
展开
-
OLTP与OLAP
OLTP与OLAP学习一、OLTP二、OLAP一、OLTPOLTP(on-line transaction processing)二、OLAPOLAP(on-line analytical processing)原创 2020-03-16 18:46:30 · 203 阅读 · 0 评论 -
Linux 系统下 MPI环境的安装与配置
1 下载MPICH 网址:http://www.mpich.org/downloads/我使用的是mpich-3.0.4.tar.gz安装包2 将.tar.gz安装包放入到Ubuntu系统的/usr/local目录下, 在终端上先找到文件所在位置,然后解压:sudo tar -zxvf mpich-3.0.4.tar.gz。解压完毕,使用ls命令查看便可发现多出了一个mpich-3转载 2017-09-21 12:17:15 · 5315 阅读 · 1 评论 -
CentOS 环境下 Spark下载安装
下载安装教程可随意百度,例如:Spark介绍与安装详解(Centos7)此处着重强调两个Bug:1 具体的error名称忘记了原因是jdk版本过低,Spark2.4需要对应jdk1.8及以上才行。2[root@centos spark-2.4.0-bin-hadoop2.7]# ./bin/pysparkPython 3.7.0 (default, Feb 27 2019, 17:29...原创 2019-02-28 17:42:11 · 592 阅读 · 0 评论 -
在CentOS环境下,使用PyCharm进行Spark开发
1 建立PyCharm与Spark的连接在Run->Edit Configuration中添加环境变量其中PYTHONPATH和SPARK_HOME的值请前往/etc/profile文件中查看,这两个值是在配置Spark的环境时写入的。2 实现代码自动补全将 Spark中的bin/pyspark文件,复制到Python安装目录下的python/lib/python3.7/site...原创 2019-02-28 19:45:44 · 542 阅读 · 0 评论 -
Vmware CentOS NAT连接 配置固定ip地址
经过这件事情,发现自己的计算机网络学得实在是太差了。书到用时方恨少,扎实学习时王道鸭。唉,继续回头补课去。。。按步骤进行1 配置本机2项内容:WLAN适配器、VMnet81.1WLAN 适配器,分享网络给VMnet81.2 配置VMnet8的4项内容:ip地址、子网掩码、默认网关、DNS服务器。VMnet8——>属性——>Internet协议版本4 IPV4——>...原创 2019-03-22 12:17:08 · 802 阅读 · 0 评论 -
大文件 多路归并 排序
1 题目这一种题目的描述,大概有以后两种:题目1:一个大文件在一台服务器上存不下,需要存放在多台服务器上,将这个大文件的内容进行排序。题目2:一个大文件100G,存储在磁盘上,现在需要对这个文件的内容进行排序,而内存装不下整个文件。2 分割为小文件+多路归并排序基本思路:step1:分割+排序从头开始将大文件FileFileFile的一个小部分读入内存中,将这一小部分进行排序...原创 2019-09-21 14:32:29 · 6080 阅读 · 0 评论