zycxnanwang的博客

HBASE数据模型概念图模型为了索引一个数据，需要知道其行键+时间戳+列族+列修饰符，也可以形象得认为行键+时间戳+列族+列修饰符构成了一个key,我们通过这个key去索引数据物理视图实际存储的时候，hbase是按照列族存储的hbase是一个稀疏，多维度，分布,排序映射表。需要强调的几点hbase为什么只能更新数据(数据带有新的时间戳)?hbase是构建在h...

最近看了The Hadoop Distributed File System,2010年发表的一篇关于HDFS的论文里面详细介绍了HDFS的各个方面，虽然里面有些技术已经被淘汰或者革新了，但是里面的设计思想还值得学习的，所以写下这篇笔记。技术有限，可能会有差错，希望指出。NameNode, DataNode文件和目录是以block的形式，存储在HDFS中的。为了实现数据的容错，H...

MapReduce前几天看了google的mapreduce论文，里面有很多学习的知识点，故在此记录。其中难免有错误，希望指出，有评论立即会回。mapreduce基本概念写过一些mapreduce程序之后，觉得mapreduce程序分为两部分map阶段，输入时的<key,value>对,key一般为文件的offset,value一般为一行的字符串经过自己编写的map...

Linux查找命令which用法which [-a] command解释根据PATH所规范的路径去查询“执行文件”的路径不同用户查找相同的命令输出结果可能不同,局限于PATH-a 将所有由PATH目录中可以找到的命令均列出，而不只是第一个被找到的命令名称例子[learn@First ~]$ which ifconfig/sbin/ifconfigw...

Linux间实现ssh免密登入 在搭建hadoop环境时，要实现机器间的免登入，我通过网上查资料，差不多熟悉了实现的方法，所以整理一下, 避免自己忘记，也给别人一个参考！三台机器的属性：name:master ip:192.168.234.12 operatesystem:centos 6.3 主节点name:slave1 ip:192.1...

Hadoop0.20.2完全分布式安装和配置三台linux虚拟机，搭建分布式环境，至少要三台虚拟机，才能展现分布式的效果，比如数据分布式存储给三台虚拟机联网并且是动态静态ip，具体操作可以参见 虚拟机配置静态ip三台虚拟机免秘钥登入, 具体操作可以参见 liunx集群实现免秘钥登入三台主机的配置如下 HOST IP SYSTEM TYPE(节点类型)...

Virtual Box配置永久ip 在搭建hadoop环境时，一般是在虚拟机上搭建的。hadooop环境需要固定的ip 所以，每次重启就变ip的桥接网络模式肯定不行。这篇博客介绍了virtual box软件 下，配置永久ip的方法。NAT网络模式可以访问外网，但是不能访问宿主机里面的 其他虚拟机，所以要添加一个host-only的网络模式的网卡新建一个...

​ 自己总结的配置虚拟机中的linux永久ip的方法，机器重启后，不会改变, 适用于VM WorkStation！​ 第一步：首先设置好虚拟机在虚拟机的设置里面，将网络适配器设置为NAT模式在“编辑”选项里面选择“虚拟网络编辑器”，打开界面，你可以看到有一个 名字为VMnat8的网卡，里面有个ip,比如我的是192.168.224.0，记住这个ip接下来要用第二步：...

安装mysql yum install mysql-server 启动mysql service mysqld start 停止mysql service mysqld stop 重启mysql service mysqld restart配置mysql修改root密码 /usr/bin/mysqladmin -u root password 'new password'修改字符编码

linux配置java环境下载jdkjdk1.8注意要同意license配置jdk解压jdk包 tar -zxvf /usr/java/jdk1.8.0_131 配置环境变量在/etc/profile加入以下三句export JAVA_HOME=/usr/share/jdk1.8.0_131 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH

配置JDK下载对应版本jdk 下载地址解压到对应目录（比如/usr/java mkdir java） tar -zxvf jdk-8u131-linux-x64.tar.gz配置环境变量 在/etc/profile加入如下内容(vim /etc/profile) export JAVA_HOME=/usr/java/jdk1.8.0_131 export JAVA_BIN=/usr/

由于任务需要，所以学习了一下docker,发现docker真得很好用。特别是你没有root、sudo权限的时候，自己构建一个自定义运行时环境是十分方便的。记录一下我主要使用的命令#列出所有镜像sudo docker image ls#查看正在运行的容器sudo docker ps#运行容器sudo docker run -it 镜像id 镜像命令#构建镜像 .是包含Do...