vmware下oracle RAC安装

第一步：
VMware vSphere5.5添加共享磁盘

两台虚拟机，需要配置至少内存为1.8g，第一块系统磁盘约50G，第二块共享磁盘50g，按照下图指示进行配置

图片

图片

第二步：准备安装介质
（1）系统盘SLES-11-SP3-DVD-x86_64-GM-DVD1.iso
（2）数据库grid软件linux.x64_11gR2_grid.zip第三

第三步：安装suse操作系统
/ 大小50g
swap 大小10g
swap调整方法：
#dd if=/dev/zero of=/swapfile bs=1024 count=65536
#mkswap /swapfile
#swapon /swapfile
#vi /etc/fstab
增加/swapf swap swap defaults 0 0

cat /proc/swaps 或者# free –m //查看swap分区大小

swapoff /swapf //关闭扩展的swap分区

配置两块网卡
节点一：
接入路由器网络192.168.0.31
私有地址网卡10.10.10.31
route路由192.168.0.1
节点二：
接入路由器网络192.168.0.32
私有地址网卡10.10.10.32
route路由192.168.0.1

第四步：安装配置grid

（1）两个节点host文件配置如下
#vi /etc/hosts
192.168.0.31 rac1
192.168.0.32 rac2
192.168.0.131 rac1-vip
192.168.0.132 rac2-vip
10.10.10.31 rac1-priv
10.10.10.32 rac2-priv
192.168.0.33 scan-ip
注意：如果涉及主机名称需要修改的时候，需要修改下面的文件 /etc/HOSTNAME

(2) 禁用两个节点的防火墙

通过yast2，找到防火墙禁用自动启动，立即停止服务。
（3）创建必要的用户、组和目录，并授权
/usr/sbin/groupadd -g 1000 oinstall
/usr/sbin/groupadd -g 1020 asmadmin
/usr/sbin/groupadd -g 1021 asmdba
/usr/sbin/groupadd -g 1022 asmoper
/usr/sbin/groupadd -g 1031 dba
/usr/sbin/groupadd -g 1032 oper

useradd oracle -u 1100 -g oinstall -G asmadmin,asmdba,asmoper,oper,dba grid
useradd grid -u 1101 -g oinstall -G dba,asmdba,oper oracle
mkdir -p /u01/app/11.2.0/grid
mkdir -p /u01/app/grid
mkdir /u01/app/oracle
chown -R grid:oinstall /u01
chown oracle:oinstall /u01/app/oracle
chmod -R 775 /u01/

(4) 内核参数设置

[root@rac1 ~]# vi /etc/sysctl.conf
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmax = 1306910720
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048586
net.ipv4.tcp_wmem = 262144 262144 262144
net.ipv4.tcp_rmem = 4194304 4194304 4194304

确认修改内核
[root@rac1 ~]# sysctl -p

（5）配置oracle、grid用户的shell限制
[root@rac1 ~]# vi /etc/security/limits.conf
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536

（6）配置login
[root@rac1 ~]# vi /etc/pam.d/login
添加或修改如下内容：
session required pam_limits.so

（7）配置grid和oracle用户环境变量
[root@rac1 ~]# su - grid
[grid@rac1 ~]$ vi .bash_profile

export TMP=/tmp
export TMPDIR=KaTeX parse error: Expected 'EOF', got '#' at position 29: …ACLE_SID=+ASM1 #̲ RAC1 export OR…PATH
export PATH=$ORACL{E}_{H}OME/bin:$PATH
export LD_LIBRARY_PATH=$ORACL{E}_{H}OME/lib:/lib:/usr/libexportCLASSPATH=$ORACLE_HOME/JRE:$ORACL{E}_{H}OME/jlib:$ORACLE_HOME/rdbms/jlib
umask 022

[root@rac1 ~]# su - oracle
[oracle@rac1 ~]$ vi .bash_profile

export TMP=/tmp
export TMPDIR=KaTeX parse error: Expected 'EOF', got '#' at position 29: …ACLE_SID=orcl1 #̲ RAC1 export OR…ORACLE_BASE/product/11.2.0/db_1
export TNS_ADMIN=$ORACL{E}_{H}OME/network/adminexportPATH=/usr/sbin:$PATH
export PATH=$ORACL{E}_{H}OME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib

（8）配置oracle用户ssh互信

【1】配置oracle用户的互信
节点一执行：
[oracle@RAC1 ~]$ssh-keygen-trsa[oracle@RAC1]$ssh-keygen -t dsa

节点二执行：

[oracle@RAC1 ~]$ssh-keygen-trsa[oracle@RAC1]$ssh-keygen -t dsa
节点一执行：
[oracle@RAC1 ~]$
ssh rac1 cat ~/.ssh/id_rsa.pub >> authorized_keys
ssh rac2 cat ~/.ssh/id_rsa.pub >> authorized_keys
ssh rac1 cat ~/.ssh/id_dsa.pub >> authorized_keys
ssh rac2 cat ~/.ssh/id_dsa.pub >> authorized_keys
[oracle@RAC1 .ssh]$ scp authorized_keys rac2:~/.ssh/
[oracle@RAC1 .ssh]$ chmod 600 authorized_keys
ssh rac1 date
ssh rac2 date
ssh rac1-priv date
ssh rac2-priv date
【2】配置grid用户ssh互信

节点一执行：
[oracle@RAC1 ~]$ssh-keygen-trsa[oracle@RAC1]$ssh-keygen -t dsa

节点二执行：

[oracle@RAC1 ~]$ssh-keygen-trsa[oracle@RAC1]$ssh-keygen -t dsa
节点一执行：
[oracle@RAC1 ~]$
ssh rac1 cat ~/.ssh/id_rsa.pub >> authorized_keys
ssh rac2 cat ~/.ssh/id_rsa.pub >> authorized_keys
ssh rac1 cat ~/.ssh/id_dsa.pub >> authorized_keys
ssh rac2 cat ~/.ssh/id_dsa.pub >> authorized_keys
[oracle@RAC1 .ssh]$ scp authorized_keys rac2:~/.ssh/
[oracle@RAC1 .ssh]$ chmod 600 authorized_keys
ssh rac1 date
ssh rac2 date
ssh rac1-priv date
ssh rac2-priv date
(9) 配置asm所用的裸设备，通过配置两个节点的第二块磁盘，作为共享磁盘

rac1:/dev/raw # fdisk /dev/sdb

Command (m for help): p

Disk /dev/sdb: 53.7 GB, 53687091200 bytes
255 heads, 63 sectors/track, 6527 cylinders, total 104857600 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x32b0fd76

Device Boot Start End Blocks Id System
/dev/sdb1 2048 2099199 1048576 83 Linux
/dev/sdb2 2099200 4196351 1048576 83 Linux
/dev/sdb3 4196352 6293503 1048576 83 Linux
/dev/sdb4 6293504 104857599 49282048 5 Extended
/dev/sdb5 6295552 18583551 6144000 83 Linux
/dev/sdb6 18585600 30873599 6144000 83 Linux
/dev/sdb7 30875648 43163647 6144000 83 Linux

两个节点上绑定裸设备：
启用raw服务
/etc/init.d/raw start
raw /dev/raw/raw1 /dev/sdb1
raw /dev/raw/raw2 /dev/sdb2
raw /dev/raw/raw3 /dev/sdb3
raw /dev/raw/raw5 /dev/sdb5
raw /dev/raw/raw6 /dev/sdb6
raw /dev/raw/raw7 /dev/sdb7
(10) 安装Grid Infrastructure
检查集群安装是否满足条件
安装必须包cvuqdisk，该包放置在grid安装包的rpm目录下
#rpm -ivh cvuqdisk-1.0.7-1.rpm
#su - grid
$./runcluvfy.sh stage -pre crsinst -n rac1 rac2 -fixup -verbose
根据条件判断是否全部“通过”，有不通过的需要进行处理，除了ntp服务之外
1.安装流程
只需要在一个节点上安装即可，会自动复制到其他节点中，这里在rac1中安装。
进入图形化界面，在grid用户下进行安装

[root@rac1 ~]# su - grid
[grid@rac1 ~]$ cd db/grid/
doc/ readme.html rpm/ runInstaller stage/
install/ response/ runcluvfy.sh sshsetup/ welcome.html
[grid@rac1 ~]$ cd db/grid/
[grid@rac1 grid]$ ./runInstaller

选择安装集群
这里写图片描述

选择自定义安装
这里写图片描述

选择语言为English
这里写图片描述

定义集群名字，SCAN Name 为hosts中定义的scan-ip，取消GNS
这里写图片描述

界面只有第一个节点rac1，点击“Add”把第二个节点rac2加上
这里写图片描述

选择网卡
这里写图片描述

配置ASM，这里选择前面配置的裸盘raw1,raw2,raw3，冗余方式为External即不冗余。因为是不用于，所以也可以只选一个设备。这里的设备是用来做OCR注册盘和votingdisk投票盘的。
这里写图片描述

配置ASM实例需要为具有sysasm权限的sys用户，具有sysdba权限的asmsnmp用户设置密码，这里设置统一密码为oracle，会提示密码不符合标准，点击OK即可
这里写图片描述

不选择智能管理
这里写图片描述

检查ASM实例权限分组情况
这里写图片描述

选择grid软件安装路径和base目录
这里写图片描述

选择grid安装清单目录
这里写图片描述

环境检测出现resolv.conf错误，是因为没有配置DNS，可以忽略
这里写图片描述

安装grid概要
这里写图片描述

开始安装
这里写图片描述

复制安装到其他节点
这里写图片描述

安装grid完成，提示需要root用户依次执行脚本orainstRoot.sh ，root.sh （一定要先在rac1执行完脚本后，才能在其他节点执行）

致性root.sh可能遇到如下问题：

Using configuration parameter file: /u01/app/11.2.0/grid/crs/install/crsconfig_params

Creating trace directory

-bash: /bin/env: 没有那个文件或目录

/u01/app/11.2.0/grid/bin/clscfg.bin: error while loading shared libraries: libcap.so.1: cannot open shared object file: No such file or directory

Failed to create keys in the OLR, rc = 127, 32512

OLR configuration failed
需要安装所有libcap相关的包，之后进行清理致性root.sh操作产生的问题

/u01/app/11.2.0/grid/crs/install/rootcrs.pl -delete -force -verbose

之后重新执行root.sh

Grid Infrastructure已经安装完成，安装数据库软件报[INS-08109] Unexpected error occurred while validating inputs at state ‘nodeSelectionPage’，

解决方法如下：

1，env|grep ORA_CRS_HOME 是否有设置这个参数，有的话取消 unset

2，确保oracle 能访问/etc/oracle or /var/opt/oracle

3,可能是oracle误报了，退出重来

netca出现问题default listener is not configured in grid infrastructure home
解决方法如下：
使用srvctl指令查看listener服务
[grid@oel11g ~]$ srvctl status listener
PRCN-2044 : No listener exists
以上证明确实没有listener服务添加入crs中

通过如下指令加listener加入到crs服务中
[grid@oel11g ~]$ srvctl add listener
[grid@oel11g ~]$ srvctl status listener
Listener LISTENER is enabled
Listener LISTENER is not running
[grid@oel11g ~]$ srvctl start listener
[grid@oel11g ~]$ srvctl status listener
Listener LISTENER is enabled
Listener LISTENER is running on node(s): rac1

安装database过程中出现：
Scan Listener is not configured in Oracle Grid infrastructure home.To create a database,scan listener is required to be configured

按照下面方法来做
[grid@oradb1 ~]$ olsnodes
oradb1
oradb2
oradb3
[grid@oradb1 ~]$ srvctl status scan_listener
SCAN Listener LISTENER_SCAN1 is enabled
SCAN listener LISTENER_SCAN1 is running on node oradb2
[grid@oradb1 ~]$ srvctl status scan
SCAN VIP scan1 is enabled
SCAN VIP scan1 is running on node oradb2
[grid@oradb1 ~]$

[grid@oradb1 ~]$ srvctl stop scan_listener
[grid@oradb1 ~]$ srvctl stop scan
[grid@oradb1 ~]$ srvctl status scan_listener
SCAN Listener LISTENER_SCAN1 is enabled
SCAN listener LISTENER_SCAN1 is not running
[grid@oradb1 ~]$ srvctl status scan
SCAN VIP scan1 is enabled
SCAN VIP scan1 is not running

[root@oradb1 bin]# ./srvctl remove scan_listener -f
[root@oradb1 bin]# ./srvctl remove scan -f

[root@oradb1 bin]# ./srvctl add scan -n oradb-scan -k 1
[root@oradb1 bin]#
root@oradb1 bin]# su - grid
[grid@oradb1 ~]$ srvctl add scan_listener -p 1521
[grid@oradb1 ~]$ srvctl start scan_listener

grid@oradb1 ~]$ srvctl status scan
SCAN VIP scan1 is enabled
SCAN VIP scan1 is running on node oradb1
[grid@oradb1 ~]$ srvctl status scan_listener
SCAN Listener LISTENER_SCAN1 is enabled
SCAN listener LISTENER_SCAN1 is running on node oradb1
[grid@oradb1 ~]$ srvctl config scan
SCAN name: oradb-scan, Network: 1/10.204.4.0/255.255.255.0/eth0
SCAN VIP name: scan1, IP: /oradb-scan/10.204.4.98
[grid@oradb1 ~]$

[grid@oradb1 ~]$ srvctl config scan_listener
SCAN Listener LISTENER_SCAN1 exists. Port: TCP:1521

DBCA时找不到ASM磁盘组
解决方法如下：
由于11g 的ASM部分交于grid用户管理，所以oracle用户的要在asmdba组中才能有权限管理。
usermod -g oinstall -G oinstall,dba,asmdba oracle
正确的用户组配置：
[root@racnode2 apps]# id oracle
uid=54321(oracle) gid=54321(oinstall) groups=54321(oinstall),54322(dba),5001(asmdba)
[root@racnode2 apps]# id grid
uid=54322(grid) gid=54321(oinstall) groups=54321(oinstall),5000(asmadmin),5001(asmdba),5002(asmoper)
scan ip连接时出现ORA-12545: 因目标主机或对象不存在
解决方法如下：
racdb_scan =
(DESCRIPTION =
(ADDRESS_LIST =
(ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.0.33)(PORT = 1521))
)
(CONNECT_DATA =
(SERVER = DEDICATED)
(SERVICE_NAME = racdb)
)
)

alter system set local_listener=’(ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.0.31)(PORT = 1521))’ sid=‘orcl1’;
alter system set local_listener=’(ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.0.32)(PORT = 1521))’ sid=‘orcl2’;

sqlplus sys/oracle@racdb_scan as sysdba
SQL*Plus: Release 11.2.0.1.0 Production on 星期二 4月 9 14:28:35 2013
Copyright © 1982, 2010, Oracle. All rights reserved.
Connected to:
Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
With the Partitioning, Real Application Clusters, Automatic Storage Management, OLAP,
Data Mining and Real Application Testing options