- 博客(19)
- 收藏
- 关注
RSS订阅转载 spark-shell 基本用法
spark-shell 是 scala 语言的 REPL（Read-Eval-Print-Loop，通俗地理解就是命令行模式） 环境，同时针对 spark 做了一些拓展。1. 启动 spark-shell 的方法1.1 本机$ spark-shell --master local[N]$ spark-shell --master local[*]通过设定local[N]参数来启动本地 Spark...
2018-03-30 15:47:58
913
转载 深入理解RDD
RDD 即 Resilient Distributes Dataset, 是spark中最基础、最常用的数据结构。其本质是把input source 进行封装，封装之后的数据结构就是RDD，提供了一系列操作，比如 map、flatMap、filter等。input source种类繁多，比如hdfs上存储的文件、本地存储的文件，相应的 RDD的种类也有很多。不同的input source 对应着不...
2018-03-27 13:13:42
259
转载 Spark基本架构及原理
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势：Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流...
2018-03-27 13:09:06
348
转载 Spark 部署方法
转载：https://blog.csdn.net/weixin_36394852/article/details/76030317Spark安装之前的准备文件的解压与改名tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz1rm -rf spark-2.2.0-bin-hadoop2.7.tgz1为了我后面方便配置spark，在这里我把文件夹的名字给改了mv spark-...
2018-03-26 12:47:34
561
转载 python pip 出现locations that require TLS/SSL异常处理方法
最近在redhat 7上安装Python3.6.4之后，使用pip命令出现了问题，提示说找不到ssl模块，出现错误如下：pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.Could not fetch URL https:*******: ...
2018-03-24 21:41:16
68846
5
转载 zipimport.ZipImportError: can't decompress data; zlib not available解决办法
解决方法：1、安装依赖zlib、zlib-devel2、重新编译安装Python ./configure 编辑Modules/Setup文件 找到下面这句，去掉注释 #zlib zlibmodule.c -I$(prefix)/include -L$(exec_prefix)/lib -lz 重新编译安装：make & make install...
2018-03-23 15:15:41
4367
转载 linux SELinux 设置方法
查看SELinux状态：1、/usr/sbin/sestatus -v ##如果SELinux status参数为enabled即为开启状态SELinux status: enabled2、getenforce ##也可以用这个命令检查关闭SELinux：1、临时关闭（不用重启机器）：setenforce 0 ...
2018-03-23 12:46:09
1930
转载 org.apache.phoenix.exception.PhoenixIOException: SYSTEM.CATALOG 异常解决办法
如下异常的解决办法Setting property: [incremental, false]Setting property: [isolation, TRANSACTION_READ_COMMITTED]issuing: !connect jdbc:phoenix:localhost:2181:/hbase none none org.apache.phoenix.jdbc.PhoenixDr...
2018-03-23 09:28:50
10858
转载 异常 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform
刚装好hadoop的时候，每次输入命令运行都会出现：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable提示hadoop不能加载本地库。以前官网会提供32位的安装包，但目前提供的下载包为64位的，在...
2018-03-22 22:27:58
724
转载 vmware 几种联网的方式，如何实现虚拟机上网
我的pc有一个IP地址是可以访问网络的，那么怎样让VM能够共享我的IP地址，也能上网呢。今天在摸索中实现了，具体的配置如下： 1，首先将VM的网卡net8启用： 2，然后将VM的网卡设置为VMnet8（NAT）： 3，将PC的可以上网的网卡共享： 要勾上允许其他网络用户通过此计算机的intenet连接来连接，并选择VMnet8。 4，设置VMnet8网卡的默认网关为本地PC可以上网的...
2018-03-19 20:19:33
10151
1
原创 vmware workstation14 ssh 登录异常问题处理
今天安装vmware workstation14虚拟机后，用securecrt通过ssh登录系统时返回登录账号密码错误，但是本人该账号密码可以在VMware成功登录系统。 错误信息如下：Password authentication failed.Please verify that the username and password are correct.12在端口号，IP地址，防火墙都确认没...
2018-03-19 15:42:44
673
转载 单机安装HBase
1、首先从官网上下载HBase安装包http://mirrors.hust.edu.cn/apache/hbase/1.2.2/hbase-1.2.2-bin.tar.gz2、解压缩到安装目录 /usr/local[root@Hadoop- 01 ~]$ tar -xzvf hbase-1.2.2-bin.tar.gz -C /usr/local[root@Hadoop- 01 ~]$ mv h...
2018-03-17 22:10:50
156
原创 Hadoop：Hadoop单机伪分布式的安装和配置
Hadoop：Hadoop单机伪分布式的安装和配置 1、安装后设置ssh可以使用如下命令登陆本机：ssh localhost此时会有SSH首次登陆提示，输入 no，(如果输入yes再输入密码，这样就登陆到本机了，但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便，如果进去了首先退出刚才的 ssh)。回到我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入...
2018-03-17 21:52:07
175
原创 hadoop启动验证命令jps问题
hadoop启动验证命令jps问题redhat7.0 64位有Java1.7自带, 习惯用老的方法来查看hadoop进程是否正确启动,即jps,可是它却告知-bash: jps: command not found原因很简单,redhat系统自带的 java没有jps命令以下为解决方式:上次下载自带的jdk，同时将java报信息录入环境变量中去[hadoop@master bin]$ vi /e...
2018-03-17 21:25:51
3082
转载 Python连接phoenix的方法示例
1.方案这里我们通过Jpype和JayDeBeApi 来连接2.过程这里我列出实例代码：import jaydebeapiimport osphoenix_client_jar="/data/users/huser/phoenix/phoenix-4.3.0-client.jar"args=='-Djava.class.path=%s'% phoenix_client_jarjvm_path=jp...
2018-03-16 23:19:35
1435
转载 利用phoenix进行Hbase数据访问
Hadoop HBase Hlive 一、背景近期一个用户画像的项目，数据量庞大，用MySQL进行存取不太现实，所以采用Hbase集群的方案来实施。由于业务层使用的是PHP，所以研发同学首先想到的是PHP-Thrift来访问Hbase，编码实验了几天，效果不是太理想，尤其是编码成本较大，各种scan、filter之类的语法，不利于团队进行快速开发；当然，最崩溃的还是想利用count进行数据总量计算...
2018-03-16 17:24:56
1261
转载 AIX 卷组管理
卷组: 列出卷组细节： lsvg vg_name 列出卷组中的逻辑卷： lsvg -l vg_name 列出卷组中的物理卷： lsvg -p vg_name 按卷组列出所有的逻辑卷： lsvg -o|lsvg -i -l 增加卷组： smitty mkvg 卷组扩容/缩小 smitty vgsc 激活卷组（使其可用）： varyonvg vg_name 解除卷组： ...
2018-03-16 16:27:47
1617
转载 oracle 18c 新特性
oracle 18c 新特性1、New Default Location of Oracle Database Password File，在18c中，口令文件的缺省位置迁移到 $ORACLE_BASE 目录下，以便去除对于 $ORACLE_HOME的更改。2、Read-Only Oracle Home，设置 $ORACLE_HOME 为只读，则变化文件将创建于 $ORACLE_BASE， 这是为...
2018-03-15 22:26:03
2924
转载 Oracle 11g自带的系统Job介绍
转http://blog.csdn.net/waferleo/article/details/4958924 Oracle 11g Default Jobs Oracle 11g的自带的Job，使用select * from Dba_Scheduler_Jobs;可查询到。介绍如下： 1. ORA$AUTOTASK_CLEANThe job is created by the 11g script...
2018-03-15 22:21:14
2042
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人