slowgood-CSDN博客

原创 Hadoop 分布式集群构建(九)

HBase 的安装与配置下载 HBase 并解压缩① 到官网下载 HBase，下载链接 HBase 官网下载，1.4.12 版本 hbase-1.4.12-bin.tar.gz 。 ② 在/opt/apps 下解压缩 HBase$ tar -zxvf hbase-1.4.12-bin.tar.gz$ mv hbase-1.4.12-bin hbase配置 HBase 分布式环境注意：每个步骤后面的节点提示，表示该步骤应该在哪个节点上进行操作！① 设置系统环境变量（master 节点）su

2022-03-04 20:34:46 118 1

原创 Hadoop 分布式集群构建(八)

Spark 安装与配置1 安装 Spark 依赖的 Scala1.1 下载和解压缩 Scala将 scala 安装包上传到 master 机的/opt/apps 目录并解压缩，将解压的目录改名为：scala1.2 配置环境变量*在/etc/profile 文件中加入：export SCALA_HOME=/opt/apps/scalaexport PATH=PATH:PATH:PATH:SCALA_HOME/bin*生效/etc/profilesource /etc/profile1.3

2022-03-04 20:34:34 190

原创 Hadoop 分布式集群构建(七)

Hive 安装和配置1.mysql 安装（在 root 下进行）1）上传 mysql 安装包文件,就是 3 个 rpm 文件2）执行下面的安装rpm -ivh --replacefiles MySQL-server*.rpmrpm -ivh --replacefiles MySQL-devel*.rpmrpm -ivh --replacefiles MySQL-client*.rpm3）启动 mysqlservice mysql start*设置为开机启动: chkconfig mysql

2022-03-04 20:34:21 246

原创 Hadoop 分布式集群构建(六)

六、 Hadoop 文件系统的操作hadoop 操作语法hadoop fs -[linux 命令]hdfs fs -[linux 命令]查看根路径目录hadoop fs -ls /创建 test 目录hadoop fs -mkdir /test查看根/test 目录hadoop fs -ls /test上传文件hadoop fs -put [本地目录或者文件] [hdfs 文件系统的目录]hadoop fs -put hello.txt /test查看文件hadoop fs -

2022-03-04 18:43:35 191

原创 Hadoop 分布式集群构建(五)

五、 hadoop 安装1.上传 hadoop 安装包2.解压 hadoop[hadoop @master apps]$ tar -zxvf hadoop-2.8.3.tar.gz改名: [hadoop @master apps]$ mv hadoop-2.8.3 hadoop[hadoop @master apps]$ lshadoop hadoop-2.8.3.tar.gz java jdk-8u121-linux-x64.tar.gz3.配置 hadoop 环境变量[hadoop @m

2022-03-04 18:43:03 1282

原创 Hadoop 分布式集群构建(四)

四、免密和防火墙1.生成密钥[hadoop @master ~]$ ssh-keygen [按四个回车] （或者：ssh-keygen -t rsa）2.密钥拷贝到目标机器[hadoop @master ~]$ ssh-copy-id slave01会要求输入密码：hadoop@slave01’s password: 123456同时拷贝到另外两台机器：[hadoop @master ~]$ ssh-copy-id slave02 [hadoop @master ~]$ ssh-copy-

2022-03-04 18:42:40 1283

原创 Hadoop 分布式集群构建(三)

三、克隆虚拟机1、克隆出 slave01，slave02 两台虚拟机；2、修改主机名第二台机：[hadoop @master ~]hostnameslave01[hadoop@master ]hostname slave01[hadoop @master ~]hostnameslave01[hadoop@master ] hostnameslave01[hadoop @master ~]sudovim/etc/sysconfig/networkNETWORKING=ye

2022-03-04 18:42:21 70

原创 Hadoop 分布式集群构建(二)

二、 jdk 配置和修改主机名*卸载预装的 openjdkrpm -qa | grep jdk #会显示你所有包含 jdk 这个字符串的安装包# 或者：rpm -qa | grep java#或者：rpm -qa | grep gcjrpm -e --nodeps 对应的每个包名 #会卸载对应的包java -version # 检查*安装 jdk1.上传 jdk建构/opt/apps把 jdk 上传到此目录2.解压 jdk[hadoop@master apps]$ tar -z

2022-03-04 18:41:00 1400

原创 Hadoop 分布式集群构建(一)

1、在虚拟机中安装 CentOS 8（略）*给 hadoop 用户 sudo 权限在 root 用户下输入命令：vim /etc/sudoers*设置权限（非生产环境可以随意点）root ALL=(ALL) ALLhadoop ALL=(ALL) NOPASSWD:ALL*创建存放 hadoop 文件的目录sudo mkdir -p /opt/apps*将 hadoop 文件夹的所有者指定为 hadoop 用户如果存放 hadoop 的目录的所有者不是 hadoop，之后 had

2022-03-04 18:40:31 1746

原创鲲鹏HCIP练习05答案

单选：默认分支上代码提交时自动触发（错）普通应用软件需要借助操作系统完成硬件的操控。可以直接不经过xpander最大连接8个SAS/SATA盘，但两者不可以混插ethtool-C eth1 tx-usecs 5（tx use）大锁变小锁优化可以避免内存伪共享。多选：没有时间盒。ceph nginx调用了openssl的应用调用了zlib库的应用将将生产环境开发环境bs是错的没有编译器级乱序没有编译器对代码进行了编译优化bms bios应用库子系统应用子系统毕昇编译器

2021-11-22 10:16:39 608

原创鲲鹏HCIP练习04答案

鲲鹏HCIP练习04在ARMv8中，虚拟化中的hypervisor运行在EL2特权级别。研发环境、类生产环境、生产环境最初是存放在磁盘、程序加载被复制到主存处理器运行程序又从主存复制到寄存器在rpmbuild的SPEC目录下，执行rpmbuild命令生成二进制rpm包。SRPMS目录存放打包后的最终源码。-bi 准备、编译、安装鲲鹏平台使用crc32cb、crc32ch、crc32cw、crc32cx单指令、多数据–help使用NEON指令，需要加载的头文件为arm_neon.hMa

2021-11-22 10:16:13 2229

原创鲲鹏HCIP练习03答案

鲲鹏HCIP练习03多项选择题：毕昇编译器的优势没有：基于LLVM开发。建议关闭SMMU功能的原因没有：鲲鹏芯片不支持SMMU功能，关闭此功能系统才能正常运行linux能够通过/proc/meminfo查询到的内存相关信息：M total/cached/availableS total/cached不会得到src源码文件同一款CPU可以同时支持多个指令集（错）内核是操作系统代码常驻主存的部分从一个进程到另外一个进程的转换是由操作系统内核管理的分布式存储全闪存的特点：CPU资源通常是瓶颈

2021-11-22 10:15:45 3171

原创鲲鹏HCIP练习02答案

关于AvxToNeon加速库：将依赖intel intrinsic的应用快速迁移到鲲鹏生态。2.31每个核都是对等的，所有的核通过总线访问所有内存。64位的通用寄存器命名：X0T32流水线在一个系统上可以同时运行多个进程。操作系统性能业界领先。通过华为鲲鹏HCIP认证编译后的二进制文件是否成功运行默认值是2M原子操作执行时不会被打断或被干涉。面对面随时地交流。程序完成之后鲲鹏处理器各子系统高速内部总线函数华为鲲鹏翻译流程和工具高于个体与交互lane的数量MON构建

2021-11-22 10:15:16 1682

原创鲲鹏HCIP练习01答案

收集热点函数工具：perfJVM屏蔽了x86与鲲鹏平台之间的差异多核乱序指令现象LDR,LDR Rt,二进制：he11o.o中断向量表老年代存活对象大小为X。堆总的大小为3X-4X。or运算：EOR Vd,Vn,Vm鲲鹏处理器实现虚拟化的具体方式和x86处理器有区别。如果一个超线程处理器可以让每个核执行两个线程，那么一个4核的处理器可同时并行执行8个线程。4*2=8复制就是开销，在程序开发和设计阶段可以尽可能的避免此类开销。有一个x86平台软件，它使用了Intrinsic指令，如果要在

2021-11-22 10:00:18 3247 1

原创《spark编程基础（python）版》第一章習題

(简答题) 简述大数据处理的基本流程。大数据处理的基本流程主要包括：数据采集、存储管理、处理分析、结果呈现等环节。(简答题) 请列举hadoop生态系统的各个组件及其功能。Ambari就是创建、管理、监视 Hadoop 的集群，是为了让 Hadoop 以及相关的大数据软件更容易使用的一个web工具。Zookeeper：分布式协调服务基础组件，可以用ZooKeeper来做：统一配置管理、统一命名服务、分布式锁、集群管理。Hbase：基于HADOOP的分布式海量数据库。H.

2021-09-08 15:45:57 2820

原创 Intellij IDEA使用快捷鍵以及技巧，精華！！！

高效编辑：复制一行：光标放任意位置，ctrl+c复制历史：ctrl+shift+vAlt+鼠标左键并拖动：纵向选择多行文本也就是删除行号。Ctrl+a：全选；Ctrl+Alt+L：格式化。Ctrl+X：剪切光标所在行，可以当删除用。Ctrl+D：复制光标所在行Ait+Shift+上/下：当前行向上或向下移动一行。Shift+上，选中两行。Alt+Shift+上/下移动。快速跳转：home行首。end行尾。Ctrl+左/右：跳过一个词。Ctrl+shift+左/右：选中一个词。Ctr

2021-09-07 10:35:40 163 1

原创 Jupyter Notebook修改工作目录：

Jupyter Notebook修改工作目录命令行法在AnacondaPrompt命令行输入jupyter notebook --notebook-dir= D:\DaPy1也可以将目录切换成D:\DaPy1，然后运行Jupyter Notebook，如D:>cd DaPy1D:\DaPy1>jupyter notebookPowershell法进入工作目录文件夹（如D:/DaPy1)→Shift键+鼠标右键→此处打开Powershell窗口→在弹出的命令窗口中输入Jup

2021-07-04 20:40:27 254 2

slow的博客