- 博客(43)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 mysql安装几种方式
mysql rpm安装的目录信息https://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html http://blog.csdn.net/dba_waterbin/article/details/8794292 RPM 包方式安装极为简单、这里就不赘述 谈谈其他对象 ...
2015-08-19 14:16:58
140
原创 如何删掉目录下文件中包含某种格式的行记录
dir=/data/mf/hzip/error/*for file in $dir do echo $file line_num=`grep -n "{.*{.*" $file | awk -F : '{print $1}'` values=(${line_num// / ...
2015-05-14 14:48:34
174
原创 superscalar
超純量（superscalar）CPU架構是指在一顆处理器内核中实行了指令级並行的一类並行運算。这种技术能够在相同的CPU主频下实现更高的CPU吞吐率（throughput）。处理器的内核中一般有多个执行单元（或称功能单元），如算术逻辑单元、位移单元、乘法器等等。未实现超标量体系结构时，CPU在每个时钟周期仅执行单条指令，因此仅有一个执行单元在工作，其它执行单元空闲。超标量体系结构的CPU在一个...
2013-10-09 14:11:19
726
原创 如何用hive api导入数据
Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");Connection con = DriverManager.getConnection("jdbc:hive://192.168.191.17:10000/default", "", "");Statement stmt = con.createStatement();...
2013-10-09 10:22:59
328
原创 迁移hive namenode
使用了一段时间的hive和hadoop，在迁移datanode时很容易，要迁移namenode，hive里就闹情绪了。更改namenode后，在hive中运行select 依旧指向之前的namenode地址。 要如何解决呢，具体操作如下：1.复制打包老的namenode2.复制打包老的namenode的hdfs目录3.到新机器准备好：修改master的值 复制到各节点 修改...
2013-10-09 10:22:36
233
原创 升级hadoop
在没有更换前先备份数据[hadoop@Hadoop-10-4 hadoop]$ bin/hadoop dfsadmin -finalizeUpgradeWarning: $HADOOP_HOME is deprecated. [hadoop@Hadoop-10-4 hadoop]$ bin/hadoop dfsadmin -upgradeProgress statusWar...
2013-10-09 10:21:49
269
原创 centos 5 install git
yum -y install zlib-devel openssl-devel cpio expat-devel gettext-develwget https://git-core.googlecode.com/files/git-1.8.4.tar.gztar zxf git-1.8.4.tar.gz./configuremakemake installgit ...
2013-10-09 10:20:15
90
原创 使用struts2 redirect跳转不同命名空间方法
springsecurity教程http://docs.oracle.com/javaee/1.4/tutorial/doc/Security5.htmlhttp://lebuqi.com/forum.php?mod=viewthread&tid=22http://code.google.com/p/family168/ 在使用struts2 redirect跳转...
2012-10-30 23:38:47
219
原创 hibernate子查询问题
mysql count select 子查询：select count(*) from (select c.id from ads_travel.ads_deal_flight df join ads_travel.ads_catalog con df.catalog_id=c.id and c.category_id=3 where departure like '%上海%' ...
2012-10-23 15:53:08
231
原创 CentOS 5编译MySQL 5.5
my.cnf配置:[mysqld]datadir=/var/lib/mysqlsocket=/var/lib/mysql/mysql.sockuser=mysql# Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0default-chara...
2012-10-20 20:57:09
83
原创 编译hadoop 1.0.3 eclipse plugin jar包
环境：Win 7 32bit1、修改hadoop-1.0.3\src\contrib\build-contrib.xml，添加<property name="version" value="1.0.3"/>和<property name="eclipse.home" value="d:\\eclipse"/>2、在hadoop-1.0.3目录下运行ant c
2012-09-13 10:32:51
124
原创 Linux支持移动硬盘NTFS格式
[root@localhost ~]# rpm -qa|grep fusefuse-2.7.4-8.el5fuse-libs-2.7.4-8.el5fuse-devel-2.7.4-8.el5wget http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.2-2.el5.rf.x86_64.rpmrpm –import ...
2012-09-13 10:32:23
313
原创 编译hadoop 1.0.3 eclipse plugin jar包
环境：Win 7 32bit1、修改hadoop-1.0.3\src\contrib\build-contrib.xml，添加<property name="version" value="1.0.3"/>和<property name="eclipse.home" value="d:\\eclipse"/>或者ant -Declipse.home=d:\\
2012-07-07 23:21:59
141
原创 编译hadoop 1.0.1 eclipse plugin jar包
1、在Eclipse中选择File-->Import-->Existing Projects into Workspace导入已有项目，假设路径为：/download/hadoop-1.0.1/src/contrib/eclipse-plugin，默认的项目名称是MapReduceTools 2、默认项目名称为MapReduceTools，然后在项目MapReduceToo...
2012-06-09 22:26:11
112
原创 CentOS 5.6 + Apache + SVN
http://wiki.centos.org/zh/HowTos/Subversionhttp://wiki.centos.org/HowTos/Subversion1、检查系统是否安装了httpdrpm -qa httpd如果没有，使用下面命令安装yum install httpd 启动apacheservice httpd start访问http://local...
2012-06-09 00:40:36
91
原创 Perl登录https并下载文件
use warnings;use strict;use LWP::Simple;my $JiraUser = 'username';my $JiraPass = 'password';my $url = 'https://jira:8443/jira/secure/attachment/234681/EDW_ETL_Type1_UTCR_Template_Raid85876.xls';my...
2012-06-01 10:52:01
426
原创 Eclipse编译Nutch1.4
官方安装方法：http://wiki.apache.org/nutch/RunNutchInEclipse 本文参考：http://zettadata.blogspot.com/2011/12/eclipsenutch.html 1、在Eclipse中安装subclipse 1.6，如果安装subclipse 1.8，则需要安装javahl 1.7，否则会报不兼容错误。安装完s...
2012-05-30 18:13:38
127
原创 shell不区分大小写字符串比较
#convert win path to linux path value as linux sensitive with character lower or upperorgi=`echo $1|tr "[:upper:]" "[:lower:]"`for i in `ls $PMSOURCEDIR`do tmp=$i dest=`echo $i|tr "[:upper:]" "[:low...
2012-05-08 09:00:22
1914
原创 CentOS 5.6 安装vsftp
先查找是否在服务器上安装了vsftpd[root@localhost var]# rpm -qa | grep vsftpd如果没有，先安装[root@localhost var]# yum install vsftpd 装好后可以在/var/目录下查找到ftp目录 在/etc/vsftpd下面存放了配置文件 新建ftp用户，先查找该用户是否存在[root@...
2012-04-25 16:21:41
102
原创 如何在perl hash中存储数组
example: my(@array) = ("hello", "world", "goodbye");my(%hash) = ("k" => \@array);my(@getArrayFromHash) = @{$hash{"k"}};foreach my $value (@getArrayFromHash) { print "$value\n";}
2012-03-31 17:16:24
1810
原创 hdfs mount为linux本地文件系统
1、软件下载hdfs-webdav.warhttp://code.google.com/p/hdfs-webdav/downloads/list把war包放到tomcat下面，启动tomcat会自动解压该war包，在/usr/tomcat6/webapps/hdfs-webdav/linux_mount_lib/目录下有fuse-2.7.4.tar.gz和neon-0.28.3.tar...
2012-03-21 00:08:18
442
原创 Eclipse编译Hadoop 0.20.203源码
1、软件环境：Eclipse：Indigo Service Release 1Hadoop：Hadoop 0.20.203 2、设置系统环境变量JAVA_HOME = C:\Program Files\Java\jdk1.6.0_25ANT_HOME = D:\apache-ant-1.8.2M2_HOME = D:\apache-maven-2.2.1Path =...
2012-03-17 15:28:58
124
原创 配置hive元数据存储在mysql中
默认情况下，hive的元数据信息存储在内置的Derby数据中。Facebook将hive元数据存储在关系数据库mysql中。配置过程如下：1 安装好mysql创建mysql密码[root@expedia-hdp1 Downloads]# mysqladmin -u root password expedia创建用户hadoophdpusr@expedia-HDP1:~/hive-0....
2012-03-15 17:46:17
566
原创 扩展hadoop hdfs,实现WebDav协议,将hdfs mount为linux本地文件系统
本文引自：http://badqiu.iteye.com/blog/269641 使用hadoop的shell命令进行hdfs的操作十分不方便,最好的办法当然是将hdfs映射为本地文件系统. 而通过实现WebDav Http协议, 结合WebDav的众多客户端,可以将hdfs映射为windows或是linux的本地文件系统.而使用api存储文件时,也将对应用透明,如使用本地文件系统一样使用...
2012-03-15 16:18:52
238
原创 ANSI编码文本文件转换成UTF-8
package org.apache.hadoop.examples;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;impor...
2012-03-06 16:10:56
816
原创 sqoop安装及数据迁移
下载sqoop[root@localhost download]# wget http://cloud.github.com/downloads/cloudera/sqoop/sqoop-1.3.0.tar.gz wget http://labs.mop.com/apache-mirror//incubator/sqoop/stable/sqoop-1.4.1-incubating__...
2012-02-29 12:48:53
499
原创 Linux时间同步
先查询是否安装了NTP软件[root@nn0001 ~]# rpm -qa|grep ntpchkfontpath-1.10.1-1.1ntp-4.2.2p1-15.el5.centos.1 [root@nn0001 ~]# yum install ntp ntpdate 210.72.145.44或者ntpdate ntp.fudan.edu.cn前者是...
2012-02-17 11:43:31
67
原创 Hadoop Zookeeper HBase集群
注：Hadoop环境搭建请参考上一篇文档。 环境：10.0.30.235 nn0001 NameNode/HBase HMaster10.0.30.236 snn0001 SecondaryNameNode/HBase HMaster10.0.30.237 dn0001 DataNode/Zookeeper/HBase HRegionServer10.0.30.238 dn...
2012-02-16 16:19:44
104
原创 Hadoop NameNode NFS备份及恢复
准备任意一台Linux服务器[root@localhost share]# mkdir /share[root@localhost share]# vim /etc/exports/share *(rw,sync,no_root_squash) 说明：no_root_squash：登入 NFS 主机使用分享目录的使用者，如果是 root 的话，那么对于这个分享的目录来...
2012-02-16 14:28:36
188
原创 Hadoop SecondaryNameNode备份及恢复
1、同步各个服务器时间yum install ntpntpdate ntp.fudan.edu.cn hdfs-site.xml配置如果没有配置这一项，hadoop默认是0.0.0.0:50090，如果你的namenode和secondarynamenode配置在同一台服务器上，是没有问题的。如果分开部署没有指定该值，则hadoop会在namenode本机上找，就会出错 &...
2012-02-15 17:22:17
227
原创 Hadoop 0.20.205.0安装配置
环境：10.0.30.235 NameNode10.0.30.236 SecondaryNameNode10.0.30.237 DataNode10.0.30.238 DataNode 配置主机名 /etc/hosts # Do not remove the following line, or various programs# that require ...
2012-02-15 15:55:24
232
原创 hadoop mapred-default.xml配置文件
namevaluedescriptionhadoop.job.history.location If job tracker is static the history files are stored in this single well known place. If No value is set here, by default, it is in th...
2012-02-15 13:25:32
504
原创 hadoop hdfs-default.xml配置文件
namevaluedescriptiondfs.namenode.logging.levelinfoThe logging level for dfs namenode. Other values are "dir"(trac e namespace mutations), "block"(trace block under/over replications and ...
2012-02-15 13:05:08
1021
原创 hadoop core-default.xml配置文件
namevaluedescriptionhadoop.tmp.dir/tmp/hadoop-${user.name}A base for other temporary directories.hadoop.native.libtrueShould native hadoop libraries, if present, be used.hado...
2012-02-15 13:03:32
496
原创 CFX简单实例
1、下载包http://cxf.apache.org/download.html2、在Eclipse中创建一个web项目，把上面解压后的jar包全部拷贝到WEB-INF/lib下。3、JavaBean类public class User implements Serializable { private static final long serialVersionUID = 1L; ...
2012-02-13 22:54:23
1359
原创 恢复清空回收站的数据
步骤： 1、单击“开始——运行，然后输入regedit （打开注册表） 2、依次展开：HEKEY——LOCAL——MACHIME/SOFTWARE/microsoft/WINDOWS/ CURRENTVERSION/EXPLORER/DESKTOP/NAMESPACE 在左边空白外点击“新建” ，选择：“主键”，把它命名为“645FFO40——5081——101B——9F08——00A...
2012-02-09 15:31:08
154
1
原创 解决SpringSide 3.2.2用户注册后自动登录问题
首先，客户端登录时密码在客户端通过MD5加密，在CustomAuthenticationProcessingFilter中验证时不需要加密。用户登录页面：<script src="${ctx}/js/jquery.js" type="text/javascript"></script><script src="${ctx}/js/jquery.sha1.j...
2012-02-09 15:11:38
122
原创 Linux编译MySQL
操作系统：CentOS release 5.4 (Final)数据库：MySQL-5.5.20-1.linux2.6.x86_64.tar系统环境：gcc gcc-c++ autoconf automake zlib* libxml* ncurses-devel libmcrypt* libtool*(libtool-ltdl-devel*) # yum –y install ...
2012-02-09 14:37:06
86
原创 使用ftp镜像安装xen虚拟机系统
如果服务器的CPU不支持全虚拟化，则只能通过ftp/nfs/http三种方式安装系统，不能直接使用iso镜像安装1、先在一台服务器上安装ftpyum –y install vsftpd 查询安装情况：rpm –qa | grep vsftp启动ftpservice vsftpd start 把iso文件挂在到新建的目录mount -o loop /iso/C...
2012-02-08 10:48:31
130
原创 Linux安装MySQL
安装mysqlyum install mysql-server 创建mysql.pid文件vim /var/run/mysqld/mysqld.pid 启动mysqlservice mysqld start 设置系统自动启动mysqldchkconfig mysqld onchkconfig –list mysqld 复制配置文件cp /us...
2012-02-08 10:39:30
78
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人