学步园

基本环境
体系结构： 32位
操作系统： Red Hat Enterprise Linux AS4 2.6.9-42.ELsmp
RAM： 2G
交换空间： 2G
网络协议： TCP/IP
网络适配器： 2*NIC's
存储： 本地SCSI硬盘140G；共享SCSI硬盘阵列（raid 5 400G）

　
一、准备集群
1. 检查需求
（1）检查硬件需求
物理内存至少1G、交换区至少2G、临时目录空间至少400M、硬盘空间、CPU类型与Oracle兼容等
在每个节点以 root 用户执行下面命令：
cat /proc/cpuinfo
grep MemTotal /proc/meminfo
grep SwapTotal /proc/meminfo
df -h

（2）识别网络需求
每个节点至少2块网卡、三个IP地址，一个公共IP、一个私有IP、一个虚拟IP
在每个节点以 root 用户执行下面命令：
/sbin/ifconfig

（3）检验操作系统和软件需求
查看操作系统版本、核心版本、所需软件包等
在每个节点以 root 用户执行下面命令：
cat /etc/issue
uname -r
rpm -q binutils compat-db control-center gcc gcc-c++ glibc gnome-libs libstdc++ libstdc++-devel make openmotif21

2. 配置网络
查看当前主机名
hostname
两个节点的主机名为 longshi_rac01、longshi_rac02，可以编辑 /etc/sysconfig/network 文件修改主机名，重启机器后生效。

网络规划如下：
 

主机文件

在每个节点以 root 用户编辑/etc/hosts文件，内容如下：
127.0.0.1 localhost
192.168.0.125 longshi_rac01
192.168.0.89 longshi_rac02
192.168.0.225 longshi_rac01-vip
192.168.0.189 longshi_rac02-vip
10.1.1.1 longshi_rac01-priv
10.1.1.2 longshi_rac02-priv

（1）检验网络配置
在每个节点以 root 用户执行下面命令：
ping -c 3 longshi_rac01
ping -c 3 longshi_rac01-priv

route # 查看缺省网关
ping -c 3 192.168.0.1 # ping 缺省网关

3. 准备服务器
（1）配置操作系统用户和组
/usr/sbin/groupadd oinstall
/usr/sbin/groupadd dba
useradd -u 200 -g oinstall -G dba -d /home/oracle -r oracle -m
passwd oracle
id oracle
注意：oracle 用户的属性包括用户名、用户ID、所属组名、所属组ID在所有节点必须相同

（2）配置安全的 Shell
a）生成 RSA 和 DSA 密钥
在每个节点以 oracle 用户执行下面命令：
ls -la $HOME
mkdir ~/.ssh
chmod 700 ~/.ssh
/usr/bin/ssh-keygen -t rsa
/usr/bin/ssh-keygen -t dsa
注意：提示输入密钥保存文件和passphrase时回车

b）在授权密钥文件中添加密钥
在节点1上以 oracle 用户执行下面命令：
cd ~/.ssh
cat id_rsa.pub >>authorized_keys
cat id_dsa.pub >>authorized_keys
ls
scp authorized_keys longshi_rac02:/home/oracle/.ssh/
ssh longshi_rac02
cd .ssh
cat id_rsa.pub >> authorized_keys
cat id_dsa.pub >> authorized_keys
在节点2上以 oracle 用户执行下面命令：
cd ~/.ssh
scp authorized_keys longshi_rac01:/home/oracle/.ssh/

（3）配置 SSH 等价用户
在每个节点上以 oracle 用户执行下面命令：
exec /usr/bin/ssh-agent $SHELL
/usr/bin/ssh-add
在每个节点以 oracle 用户执行下面命令：
ssh longshi_rac01 date
ssh longshi_rac02 date

4. 准备操作系统和软件
（1）在两个节点上设置时间
两个节点指向同一个NTP Server，NTP配置参考 http://wxy0327.itpub.net/post/16888/291676

（2）配置核心参数
在每个节点以 root 用户执行以下操作：
编辑/etc/sysctl.conf文件，在文件尾添加内容：
kernel.sem = 250 32000 100 128
kernel.shmmni = 4096
kernel.shmall = 2097152
kernel.shmmax = 2147483648
net.ipv4.ip_local_port_range = 1024 65000
net.core.rmem_default=1048576
net.core.rmem_max=1048576
net.core.wmem_default=262144
net.core.wmem_max=262144
执行以下命令：
sysctl -p

（3）配置Shell对Oracle用户的限制
在每个节点以 root 用户执行以下操作：
编辑/etc/security/limits.conf文件，在文件尾添加内容：
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
编辑/etc/pam.d/login文件，在文件尾添加内容：
session required /lib/security/pam_limits.so

5. 配置安装路径和共享存储
（1）决定共享存储方案
项目 存储系统 存储位置
Clusterware ext3 本地磁盘
OCR RAW Device 共享磁盘
Voting disk RAW Device 共享磁盘
数据库软件 ext3 本地磁盘
数据库 ASM 共享磁盘
恢复文件 ASM 共享磁盘

（2）配置裸设备及分区
在节点1上以 root 用户执行下面命令：
/sbin/fdisk -l
/sbin/fdisk /dev/sdb
p -> n -> p -> 1 -> 回车 -> +1000M -> n -> p -> 2 -> 回车 -> +1000M -> n-> p -> 3 -> 回车 -> +200000M -> w

在每个节点上以 root 用户执行下面操作：
/usr/bin/raw -qa
编辑文件/etc/sysconfig/rawdevices，在文件尾添加内容：
#OCR Devices
/dev/raw/raw1 /dev/sdb1
#Voting Disk Devices
/dev/raw/raw2 /dev/sdb2

在每个节点上以 root 用户执行下面命令
# 编辑 /etc/rc.d/rc.local 在文件末尾前加入以下内容
/bin/chown root:oinstall /dev/raw/raw1
/bin/chown oracle:oinstall /dev/raw/raw2
/bin/chmod 660 /dev/raw/raw1
/bin/chmod 660 /dev/raw/raw2

重启裸设备服务
/sbin/service rawdevices restart

重启两个节点
reboot

在每个节点上以 root 用户执行下面命令安装 ASM 驱动软件包
rpm -Uvh oracleasm-support-2.0.3-1.i386.rpm
rpm -Uvh oracleasm-2.6.9-42.EL-2.0.3-1.i686.rpm
rpm -Uvh oracleasm-2.6.9-42.ELhugemem-2.0.3-1.i686.rpm
rpm -Uvh oracleasm-2.6.9-42.ELsmp-2.0.3-1.i686.rpm
rpm -Uvh oracleasmlib-2.0.2-1.i386.rpm
检查 ASM 驱动软件包：
rpm -q oracleasm-support oracleasm-2.6.9-42.EL oracleasm-2.6.9-42.ELhugemem oracleasm-2.6.9-42.ELsmp oracleasmlib

/etc/init.d/oracleasm configure
Default user to own the driver interface []: oracle
Default group to own the driver interface []: dba
Start Oracle ASM library driver on boot (y/n) [n]: y
Fix permissions of Oracle ASM disks on boot (y/n) [y]: y
Writing Oracle ASM library driver configuration: [ OK ]
Loading module "oracleasm": [ OK ]
Mounting ASMlib driver filesystem: [ OK ]
Scanning system for ASM disks: [ OK ]

在节点1上以 root 用户执行下面命令：
/etc/init.d/oracleasm createdisk DISK1 /dev/sdb3

在每个节点上以 root 用户执行下面命令：
/etc/init.d/oracleasm scandisks

chkconfig --level 345 rawdevices on
建立新文件
/etc/udev/permissions.d/oracle.permissions
内容如下：
# OCR
raw/raw1:root:oinstall:0660
# Voting Disks
raw/raw2:oracle:oinstall:0660

（3）选择 Oracle Base 目录和 Oracle Clusterware 主目录
在每个节点上以 root 用户执行下面命令：
mkdir -p /opt/oracle/10gR2
mkdir -p /opt/oracle/crs
chown -R oracle:oinstall /opt/oracle/10gR2 /opt/oracle/crs

重启两个节点
reboot

验证 ASM DISK，在每个节点上以 root 用户执行下面命令：
/etc/init.d/oracleasm listdisks
ls -l /dev/oracleasm/disks/

二、安装并配置 Oracle Clusterware 和 Oracle RAC
1. 准备 Oracle 介质安装文件
在节点1上以 root 用户执行下面操作：
mkdir -p /stage/oracle/10.2.0/db
mkdir -p /stage/oracle/10.2.0/crs
cp 10201_clusterware_linux32.zip /stage/oracle/10.2.0/crs
cp oralinux102.zip /stage/oracle/10.2.0/db
cd /stage/oracle/10.2.0/db
unzip oralinux102.zip
cd /stage/oracle/10.2.0/crs
unzip 10201_clusterware_linux32.zip
chown -R oracle:oinstall /stage/oracle/10.2.0/db /stage/oracle/10.2.0/crs
chmod -R 777 /stage/oracle/10.2.0/db /stage/oracle/10.2.0/crs

2. 安装 Oracle Clusterware 10g
（1）配置操作系统环境
在所有节点上以 oracle 用户执行下面命令：
cd $HOME
vi .bash_profile
添加内容如下：
export ORACLE_SID=sms
export ORACLE_BASE=/opt/oracle/10gR2
export ORACLE_HOME=/opt/oracle/crs
export PATH=$PATH:$ORACLE_HOME/bin
执行下面命令使设置生效：
source .bash_profile

（2）使用 CVU 验证配置
在节点1上以 root 用户执行下面操作：
chmod -R 777 /tmp/
在节点1上以 oracle 用户执行下面操作：

利用 CVU 检查 CRS 的安装前任务

cd /stage/oracle/10.2.0/crs/clusterware/cluvfy
./runcluvfy.sh stage -pre crsinst -n longshi_rac01,longshi_rac02 -verbose

/************************************* 有可以忽略的错误 *************************************/
查看 CVU 报告。注意，报告中几个可以忽略的错误。

第一个错误有关“oinstall”组 [作为基本组] 中的用户“oracle”的成员资格。考虑到本文的目的，“oracle”用户帐户只能分配给“dba”组，因此可以忽略该错误，没什么问题。

第二个错误与为 VIP 查找一组适合的接口有关。这是 Metalink 说明 338924.1 中的一个错误文件：

Suitable interfaces for the private interconnect on subnet "192.168.2.0":
linux2 eth1:192.168.2.101
linux1 eth1:192.168.2.100

ERROR:
Could not find a suitable set of interfaces for VIPs.

Result: Node connectivity check failed.
如说明中所述，可以忽略该错误，没什么问题。

最后一组可忽略的错误与处理 RHEL4 Update 4 中不存在的特定 RPM 程序包版本有关。例如：

compat-gcc-7.3-2.96.128
compat-gcc-c++-7.3-2.96.128
compat-libstdc++-7.3-2.96.128
compat-libstdc++-devel-7.3-2.96.128

这些特定的程序包在 CVU 报告中列为缺少，请确保在集群中的两个 Oracle RAC 节点上安装了正确版本的 compat-* 程序包。例如，在 RHEL4 Update 4 中，这些程序包应为：

compat-gcc-32-3.2.3-47.3
compat-gcc-32-c++-3.2.3-47.3
compat-libstdc++-33-3.2.3-47.3
/************************************* 有可以忽略的错误 *************************************/

利用 CVU 检查硬件和操作系统设置
cd /stage/oracle/10.2.0/crs/clusterware/cluvfy
./runcluvfy.sh stage -post hwos -n longshi_rac01,longshi_rac02 -verbose

/************************************* 有可以忽略的错误 *************************************/
查看 CVU 报告。与之前的检查（CRS 的安装前任务）一样，为 VIP 查找一组合适的接口将失败，可将其忽略，没什么问题。

另请注意，检查共享存储可访问性将失败。

Checking shared storage accessibility...

WARNING:
Unable to determine the sharedness of /dev/sde on nodes:
linux2,linux2,linux2,linux2,linux2,linux1,linux1,linux1,linux1,linux1

Shared storage check failed on nodes "linux2,linux1".
该警告也可忽略，没什么问题。虽然我们知道这些磁盘可见并在集群中的两个 Oracle RAC 节点中共享，但本身将失败。导致该错误的若干原因已得到证明。第一个原因来自 Metalink，指出 cluvfy 当前没有使用 SCSI 设备之外的其他设备。这将包括设备（如 EMC PowerPath）和卷组（如 Openfiler 中的卷组）。截至本文撰写之日，除了使用手动方法检测共享设备外没有其他解决方法。该错误的另一个原因由 Oracle Corporation 的 Bane Radulovic 提出。他的研究表明，CVU 在 Linux 上调用 smartclt 时，smartclt 不会从 iSCSI 设备返回序列号。例如，针对 /dev/sde 进行的检查显示：

# /usr/sbin/smartctl -i /dev/sde
smartctl version 5.33 [i686-redhat-linux-gnu] Copyright (C) 2002-4 Bruce Allen
Home page is http://smartmontools.sourceforge.net/

Device: Openfile Virtual disk Version: 0
Serial number:
Device type: disk
Local Time is: Wed Oct 25 23:41:20 2006 EDT
Device supports SMART and is Disabled
Temperature Warning Disabled or Not Supported
截至本文撰写之日，我们还不知道 Openfiler 开发人员是否打算对此进行修复。
/************************************* 有可以忽略的错误 *************************************/

（3）使用 OUI 安装 Oracle Clusterware
在节点1上以 oracle 用户执行下面操作：
cd /stage/oracle/10.2.0/crs/clusterware
./runInstaller
欢迎窗口 -> next
Specify Inventory directory and credentials 输入 /opt/oracle/10gR2/oraInventory -> next
Home Detail 选择 /opt/oracle/crs -> next
Product-Specific Prerequisite Checks -> next
Specify Cluster Configuration
Edit节点1
Public Node Name：longshi_rac01
Private Node Name：longshi_rac01-priv
Virtual Host Name：longshi_rac01-vip
Add节点2
Public Node Name：longshi_rac02
Private Node Name：longshi_rac02-priv
Virtual Host Name：longshi_rac02-vip
-> next -> eth0 Interface Type 选择 Public；eth1 Interface Type 选择 Private
-> next
Specify Oracle Cluster Registry（OCR）Location
选择 External Redundancy
Specify OCR Location：/dev/raw/raw1 -> next
选择 External Redundancy
Voting Disk Location：/dev/raw/raw2 -> next
-> Install
Execute Configuration scripts
在节点以上1上以 oracle 用户执行以下命令：
cd /opt/oracle/10gR2/oraInventory
su
./orainstRoot.sh
执行完毕后，在节点以上2上以 root 用户执行以下命令：
ssh longshi_rac02
cd /opt/oracle/10gR2/oraInventory
./orainstRoot.sh
执行完毕后，在节点以上1上以 root 用户执行以下命令：
cd /opt/oracle/crs
./root.sh
# 这步执行时间较长
执行完毕后，在节点以上2上以 root 用户执行以下命令：
cd /opt/oracle/crs
./root.sh
/************************************* 严重错误 *************************************/
您在所有节点上运行 root.sh 时将收到多个警告。可以忽略这些警告，没什么问题。

可能需要等一会儿才会运行 root.sh。在最后一个节点上运行 root.sh 时，您将收到一个严重错误，其输出如下所示：

...
Expecting the CRS daemons to be up within 600 seconds.
CSS is active on these nodes.
linux1
linux2
CSS is active on all nodes.
Waiting for the Oracle CRSD and EVMD to start
Oracle CRS stack installed and running under init(1M)
Running vipca(silent) for configuring nodeapps
The given interface(s), "eth0" is not public.Public interfaces should be used to configure virtual IPs.
此问题为 Oracle 10.2.0.1（Metalink 文章 338924.1 中有说明）所特有，需要在继续操作之前将其解决。最简单的变通方法是从出现错误的上一个节点中以 root 用户的身份手动重新运行 vipca (GUI)。请记住，vipca 是一个 GUI，需要根据您的 X 服务器设置 DISPLAY 变量：

# $ORA_CRS_HOME/bin/vipca

出现“VIP Configuration Assistant”时，我按如下所示回应屏幕提示：

Welcome： 单击 Next
Network interfaces： 选择两个接口 — eth0 和 eth1
Virtual IPs for cluster notes：
Node Name： linux1
IP Alias Name： linux1-vip
IP Address： 192.168.1.200
Subnet Mask： 255.255.255.0

Node Name： linux2
IP Alias Name： linux2-vip
IP Address： 192.168.1.201
Subnet Mask： 255.255.255.0

Summary： 单击 Finish
Configuration Assistant Progress Dialog： 配置完成后单击 OK。
Configuration Results： 单击 Exit
/************************************* 严重错误 *************************************/
-> OK -> Exit

（4）完成 Oracle Clusterware 配置
在节点1上以 oracle 用户执行下面操作：
/opt/oracle/crs/bin/./crs_stat -t

在每个节点上以 oracle 用户执行下面命令：
# 检查集群节点
/opt/oracle/crs/bin/olsnodes -n
# 检查 Oracle 集群件自动启动脚本
ls -l /etc/init.d/init.*

3. 在一个 ASM 主目录中配置 ASM
在节点1上以 oracle 用户执行下面操作：
cd /stage/oracle/10.2.0/db
./runInstaller
欢迎窗口 -> next
选择企业版 -> next
Specify Home Details
Name 输入OraASM10g_home Path输入/opt/oracle/10gR2/asm -> next
Specify Hardware Cluster Install Mode 选择 Select All -> next
Product-Specific Prerequisite Checks -> next
Select Configuration Option 选择 Configure Automatic Storage Management(ASM) 并输入密码 -> next
Configure Automatic Storage Management
Disk Group Name 输入diskgroup1
Redundancy 选择 External
Add Disks 选择ORCL:DISK1 -> next
-> Install
Configuration Assistants -> next
Execute configuration scripts
在节点1上以 root 用户执行下面操作：
cd /opt/oracle/10gR2/asm
su
./root.sh
执行完毕后，在节点2以 root 用户执行以下命令：
cd /opt/oracle/10gR2/asm
./root.sh
OK -> Exit

（1）验证 ASM 安装
在每个节点上以 oracle 用户执行以下操作：
cd /opt/oracle/crs/bin
./srvctl status asm -n longshi_rac01
# ASM 实例 +ASM1 正在节点 longshi_rac01 上运行。
./srvctl status asm -n longshi_rac02
# ASM 实例 +ASM2 正在节点 longshi_rac02 上运行。

4. 安装 Oracle 数据库软件并建立一个集群数据库
在节点1上以 oracle 用户执行下面操作：
cd /stage/oracle/10.2.0/db
./runInstaller
欢迎窗口 -> next
选择企业版 -> next
Specify Home Details
Name 输入OraDb10g_home Path输入/opt/oracle/10gR2/db_1 -> next
Specify Hardware Cluster Install Mode 选择 Select All -> next
Product-Specific Prerequisite Checks -> next
Select Configuration Option 选择 Create a Database -> next
Database Configuration 选择 General Purpose -> next
Database Configuration Options Global Database Name 输入sms.longshi.com SID 输入sms
Select Database Character set 选择 AL32UTF8，不选择 Create Database with sample schemas -> next
Select Database Management Option 选择 Use Database Control for Database Management，不选择 Enable Email Notifications -> next
Database Storage OPtion 选择 Automatic Storage Management -> next
Specify Backup and Recovery Options 选择 Do not enbale Automated backup -> next
Select ASM Disk Group 选择 DISKGROUP1 -> next
Specify Databse Schema Passwords 选择 Use the same password for all the accounts 输入密码 -> next
Install（安装程序建立并配置数据库，需要较长时间）-> OK
Execute Configuration scripts
在节点1上以 root 用户执行下面操作：
cd /opt/oracle/10gR2/db_1
su
./root.sh
# 回答问题是回车选择缺省值
执行完毕后，在节点2上以 root 用户执行以下命令：
cd /opt/oracle/10gR2/db_1
./root.sh
OK -> Exit

（1）验证 Oracle RAC 数据库安装
在每个节点上以 oracle 用户执行下面命令：
cd /opt/oracle/crs/bin
./crs_stat -t

（2）为数据库管理配置操作系统环境，再配置用户Shell Profile
在每个节点以 oracle 用户执行以下命令：
cd $HOME
vi .bash_profile
编辑内容如下:
export ORACLE_SID=sms
export ORACLE_BASE=/opt/oracle/10gR2
export ORACLE_HOME=/opt/oracle/10gR2/db_1
export PATH=$PATH:$ORACLE_HOME/bin
执行下面命令使设置生效：
source .bash_profile

安装后配置：
1. 网络连接
分别编辑两个节点的 $ORACLE_HOME/network/admin/sqlnet.ora 文件添加如下条目：
SQLNET.INBOUND_CONNECT_TIMEOUT = 60
SQLNET.RECV_TIMEOUT = 60
SQLNET.SEND_TIMEOUT = 60

分别编辑两个节点的 $ORACLE_HOME/network/admin/listener.ora 文件添加如下条目：
INBOUND_CONNECT_TIMEOUT_LISTENER = 60

重启两个节点的监听器，分别在两个节点上执行如下命令：
lsnrctl stop
lsnrctl start
在任一节点上执行如下命令（longshi_rac01、longshi_rac02为节点名）：
srvctl start listener -n longshi_rac01
srvctl start listener -n longshi_rac02

使用缺省的 tnsnames 配置，不用做任何改动。

客户端连接：
# 本机客户端连接
# 在任意节点上运行
sqlplus sys@sms as sysdba

# 远程客户端连接，修改客户端 tnsnames.ora 文件
# 客户机在同一内网中，如下修改 tnsnames.ora，HOST 也可用 VIP
SMS_RAC =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.0.225)(PORT = 1521))
    (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.0.189)(PORT = 1521))
    (LOAD_BALANCE = yes)
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = sms.longshi.com)
    )
  )

# 如果有防火墙设置，外网地址映射为VIP，还要注意开放相应端口，如下修改 tnsnames.ora
SMS_RAC =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = 221.212.180.1)(PORT = 1521))
    (ADDRESS = (PROTOCOL = TCP)(HOST = 221.212.180.2)(PORT = 1521))
    (LOAD_BALANCE = yes)
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = sms.longshi.com)
    )
  )

解决方案一： 

SQL> CONN SYS@sms1 AS SYSDBA
输入口令: ****已连接。
SQL> ALTER SYSTEM 
2 SET LOCAL_LISTENER = '(ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.0.225)(PORT = 1521))' 
3 SID = 'sms1';

系统已更改。

SQL> CONN SYS@sms2 AS SYSDBA
输入口令: ****已连接。
SQL> ALTER SYSTEM 
2 SET LOCAL_LISTENER = '(ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.0.189)(PORT = 1521))' 
3 SID = 'sms2';

系统已更改。

重启实例、重启监听器

解决方案二：
修改客户端的 C:/WINDOWS/system32/drivers/etc/hosts（windows）或者 /etc/hosts 文件，添加以下条目：
# 客户端在防火墙内
192.168.0.225    longshi_rac01-vip
192.168.0.189    longshi_rac02-vip

# 客户端在防火墙外
221.212.180.1    longshi_rac01
221.212.180.2    longshi_rac02

2. 修改 spfile 参数
（1）分别在各个节点上创建该节点的pfile
sqlplus sys@sms1 as sysdba
create pfile from spfile;
sqlplus sys@sms2 as sysdba
create pfile from spfile;
（2）更改各个节点的pfile中的相应参数值，保存。注意各节点参数值要统一
vi /opt/oracle/10gR2/db_1/dbs/initsms1.ora
vi /opt/oracle/10gR2/db_1/dbs/initsms2.ora
（3）分别在各个节点上创建该节点的 spfile
sqlplus sys@sms1 as sysdba
create spfile from pspfile;
sqlplus sys@sms2 as sysdba
create spfile from pfile;
（4）启动各节点，检查更改后的参数值是否统一、正确
srvctl stop instance -d sms -i sms1,sms2
srvctl start instance -d sms -i sms1,sms2
sqlplus sys@sms1 as sysdba
show parameter spfile;
sqlplus sys@sms2 as sysdba
show parameter spfile;

简单管理：

停止数据库：
srvctl stop database -d sms
启动数据库：
srvctl start database -d sms
停止数据库实例：
srvctl stop instance -d sms -i sms1,sms2
启动数据库实例：
srvctl start instance -d sms -i sms1,sms2
停止 ASM 实例：
srvctl stop asm -n longshi_rac01
启动 ASM 实例：
srvctl start asm -n longshi_rac01
查看 ASM 实例：
srvctl status asm -n longshi_rac01
查看数据库状态：
srvctl status database -d sms
查看实例状态：
srvctl status instance -d sms -i sms1,sms2

删除监听器：
crs_unregister ora.longshi_rac02.LISTENER_LONGSHI_LONGSHI_RAC02.lsnr
crs_unregister ora.longshi_rac01.LISTENER_LONGSHI_LONGSHI_RAC01.lsnr
启动监听器：
srvctl start listener -n longshi_rac01

遗留问题：
1. 监听器配置，如增加 local_listener、修改缺省端口（1521）等
2. 节点重启后 crs 服务不能自动重启， 配置 ntp 后问题依然，只能如下手工启动相应服务，怀疑是 bug

crs_stop -all
crs_start -all
crs_stat
crs_stop ora.longshi_rac01.gsd
crs_start ora.longshi_rac01.gsd
crs_stop ora.longshi_rac01.ASM1.asm
crs_start ora.longshi_rac01.ASM1.asm
crs_stop ora.longshi_rac01.LISTENER_LONGSHI_RAC01.lsnr
crs_start ora.longshi_rac01.LISTENER_LONGSHI_RAC01.lsnr
crs_stop ora.longshi_rac01.ons
crs_start ora.longshi_rac01.ons
crs_stop ora.sms.sms1.inst
crs_start ora.sms.sms1.inst
crs_stat -t

Name Type Target State Host
------------------------------------------------------------
ora....SM1.asm application ONLINE ONLINE long...ac01
ora....01.lsnr application ONLINE ONLINE long...ac01
ora....c01.gsd application ONLINE ONLINE long...ac01
ora....c01.ons application ONLINE ONLINE long...ac01
ora....c01.vip application ONLINE ONLINE long...ac01
ora....SM2.asm application ONLINE ONLINE long...ac02
ora....02.lsnr application ONLINE ONLINE long...ac02
ora....c02.gsd application ONLINE ONLINE long...ac02
ora....c02.ons application ONLINE ONLINE long...ac02
ora....c02.vip application ONLINE ONLINE long...ac02
ora.sms.db application ONLINE ONLINE long...ac01
ora....s1.inst application ONLINE ONLINE long...ac01
ora....s2.inst application ONLINE ONLINE long...ac02 

# 连接数据库
sqlplus sys@sms_rac as sysdba

注意：客户端连接到 RAC 数据库的时候经常会出现 ORA-12545 错误，METALINK上指出，是Oracle的一个小bug。