Suse11sp3系统安装asm+oracle11G+rac

三台主机规划，域名都是vm
主机名： Public IP(公IP) Private IP(私有IP) vip(虚拟IP) 作用
Suse-rac1.vm 192.168.254.201 10.1.1.11 192.168.254.211 节点1
Suse-rac2.vm 192.168.254.202 10.1.1.12 192.168.254.212 节点2
Suse-asm.vm 192.168.254.200 存储

192.168.254.201 Suse-rac1.vm suse-rac1
192.168.254.202 Suse-rac2.vm suse-rac2
10.1.1.11 rac1-priv
10.1.1.12 rac2-priv
192.168.254.211 rac1-vip
192.168.254.212 rac2-vip
192.168.254.250 rac-scan

首先，虚拟机安装Suse11sp3系统 镜像包：SLES-11-SP3-DVD-x86_64-GM-DVD1
虚拟机选择系统时选择SLES LINUX Enterprise 11 64-bit

两个节点：2c+2G+60G+nat+nat 双网卡都是nat模式
存储服务器：2c+2G+20g+nat+20+20+20+20+20+20
光盘启动，进入安装界面：
选择第二项，安装：

选择安装语言和键盘布局，全部英文，并勾选下面的 I agree ：

是否检查光盘，如不检查，直接下一步：

直接下一步，我们是全新安装：

选择时区：上海，不使用UTC,可以修改时间：

默认，物理机安装：(即便我真实环境是虚拟机，这里也选择物理机安装)

进入到安装配置选项了…我们先选择Partitioning，之后开始分区，默认已经分好区，我们自定义分区：

选择自定义分区：

单机sda磁盘，单机下面的add创建各分区，swap 4G, boot 200M,其他都给/：

完成后如下：

确认提交：

选择软件包：

在原来基础上勾选oracle和gcc/gcc++,一些编译需要这个（注意：这里选择的oracle的软件包，之后在安装前一定要检查环境变量，这里会默认生成用户以及环境变量脚本）：

点击确定后的样子，我多勾选了四个：

点击安装，等待安装完成后，设置root密码123456：

设置主机名和域名 不使用dhcp 主机名：suse-rac1 域名：vm:

配置网络信息：这里首先关闭防火墙，这里是打开的：

已经关闭：

配置网卡，这里看到两块网卡，点击这个开始配置：

点击第一块：

点击下面的编辑：

原来是DHCP,现在现在固定IP，这是第一块我们配置为Public网卡，根据之前的规划写 IP：

同样的我们编辑第二块网卡，配置为Private网卡，也是根据之前的规划修改:

配置完成后，点击ok,回到主页面，如下(节点1):

节点2

跳过网络测试：

跳过网络服务配置：

设置一个普通用户，跳过
其他都是下一步就可以，安装完成后会重启：

前期所有服务器都需要配置：
永久关闭防火墙(我们在安装系统时已经关闭了，这里就只是看看)：
service SuSEfirewall2_init status 查看防火墙状态
关闭防火墙：
service SuSEfirewall2_init stop
service SuSEfirewall2_setup stop
永久关闭：
chkconfig --list | grep -i fire
chkconfig --level 35 SuSEfirewall2_init off
chkconfig --level 35 SuSEfirewall2_setup off

打开SSH连接：
Vim /etc/ssh/sshd_config
PasswordAuthentication yes
保存重启sshd服务

配置本地zypper源：
存放repo 文件目录
cd /etc/zypp/repos.d
创建目录
mkdir or
赋予目录权限
chmod -R 777 or
挂载iso文件
mount -o loop SLES-11-SP3-DVD-x86_64-GM-DVD1.iso /or
或者拷贝iso目录文件到or
cp -rf /media/SLES-11-SP4-DVD-x86_6412211/* /or
配置本地repo
zypper ar file:///or/ local-sles
查看列出库
zypper lr

| Alias | Name | Enabled | Refresh

–±-----------±-----------±--------±-------
1 | local-sles | local-sled | Yes | No

存储服务器配置：
192.168.254.200 suse-asm这台服务器只是提供共享存储 添加六块20G的磁盘，不格式化,
安装tgt软件：(我现在越来越喜欢suse系统了，基本上所需要的软件安装盘里都有)
Zypper in tgt-0.9.10-0.17.1.x86_64
vim /etc/tgt/targets.conf 添加：

for oracle 11g+rac+asm

两个节点分别安装：
open-iscsi-2.0.873-0.21.1.x86_64
iscsitarget-1.4.20-0.34.26.x86_64
/etc/init.d/open-iscsi start
/etc/init.d/iscsitarget start

chkconfig --level 35 open-iscsi on
chkconfig --level 35 iscsitarget on
发现200上有共享服务端： iscsiadm -m discovery -t st -p 192.168.254.200
如果不能发现，可以试试图形或者yast
磁盘挂载：iscsiadm -m node -T iqn.2018-09.vm.asm:iscsi.fcdisk -p 192.168.254.200:3260 -l
使用fdisk -l 就能看到共享的磁盘了
磁盘卸载：iscsiadm -m node -T iqn.2018-09.vm.suse-asm:iscsi.fcdisk -p 192.168.254.200:3260 -u
删除共享信息：iscsiadm -m node -T iqn.2018-09.vm.suse-asm:iscsi.fcdisk -o delete

第一次做：使用multipath绑定UUID 配置asm :(两个节点都做)
获取多路径设备的wwid，使用下面的命令来获取当前系统中多路径设备的wwid
for i in cat /proc/partitions | awk {'print $4'} |grep sd; do echo “### $i:‘/lib/udev/scs{i}_{i}d--whitelist--replace-whitespace/dev/$i`”; done

vim /etc/multipath.conf (没有此文件可新建)
defaults {
user_friendly_names yes
}
blacklist {
devnode ^hd[a-z]
}
multipaths {
multipath {
wwid 1IET_00010001
alias mpathb
}
multipath {
wwid 1IET_00010002
alias mpathc
}
multipath {
wwid 1IET_00010003
alias mpathd
}
multipath {
wwid 1IET_00010004
alias mpathe
}
multipath {
wwid 1IET_00010005
alias mpathf
}
multipath {
wwid 1IET_00010006
alias mpathg
}
}
启动 multipathd
/etc/init.d/multipathd start
chkconfig --level 35 multipathd on
multipath -ll | grep mpath

#/dev/dm-*下面的为动态名，即系统重启后会发生变化，此部分用于os 内部使用。
#/dev/mapper/下面查看到的内容为持久化名称，也即是我们在mulitpatch.conf文件中定义的.
配置裸设备raw :
vim /etc/raw
raw1:mapper/mpathb
raw2:mapper/mpathc
raw3:mapper/mpathd
raw4:mapper/mpathe
raw5:mapper/mpathf
raw6:mapper/mpathg
/etc/init.d/raw start
chkconfig --level 35 raw on
ll /dev/raw/

测试raw的可访问性：
dd if=/dev/zero of=/dev/raw/raw1 bs=1024 count=100

使用UDEV配置asm，主要是改变组和用户（也可以不使用裸设备，直接UDEV）：
vim /etc/udev/rules.d/99-raw.rules
KERNEL==“raw[1-6]*”, OWNER=“grid”, GROUP=“asmadmin”, MODE=“664”
/etc/init.d/boot.udev start

第二次做：两节点直接使用UDEV做asm：
添加编辑/etc/scsi_id.config 文件(没有就新建)
options=–whitelisted --replace-whitespace

使用下面的脚本生成语句：
for i in b c d e f g h i j
do
echo “KERNEL==“sd*”, SUBSYSTEM==“block”, PROGRAM==”/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/sd$i", NAME=“asm-disk$i”, OWNER=“grid”, GROUP=“asmadmin”, MODE=“0660"”
done

vim /etc/udev/rules.d/99-oracle.rules 新建文件并把生成的语句放入保存：
KERNEL==“sd*”, SUBSYSTEM==“block”, PROGRAM=="/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name",RESULT=="1IE{T}_{0}0010001",NAME="asm-diskb",OWNER="grid",GROUP="asmadmin",MODE="0660"KERNEL=="sd\ast ",SUBSYSTEM=="block",PROGRAM=="/lib/udev/scs{i}_{i}d--whitelisted--replace-whitespace--device=/dev/$