HP 服务器上安装和管理 HP 磁盘柜 MSA500G2
(Redhat Linux 字符环境)
目录:
一、磁盘柜硬件安装;page 1
二、驱动和工具软件安装;page 1
三、阵列配置;page 2
四、系统监控 page12
先给服务器安装操作系统 Redhat Linux 。
一、 磁盘柜硬件安装
默认的 SCSI 口认不到 MSA500G2 控制器,因此服务器必须插一块 Smart
Array642 卡(每台 MSA500G2 都带 2 块 Smart Array642 卡),由于 SA642 是全
长的 PCI-X 卡,因此服务器必须能提供全长的 PCI-X 插槽。连接线缆,先开磁
盘柜,等 2 分钟后再开服务器。
二、 驱动和工具软件安装
1、以超级用户 root 登录 Linux 系统,将随盘柜或自己下载的 HP SmartStart 光盘放
入服务器光驱中。
(最新 SmartStart 下载地址:r/us/subscription/
)
#mount –t iso9660 /dev/cdrom /mnt
#cd /mnt/compaq/csp/linux
#ls *.sh –l
2、执行看到的.sh 文件,例如
#./
在这个过程中会回答一些系统管理问题,一部份是有关 SNMP 有关的,一部份是
与管理帐号和安全的,可以过后再配(本文第四节),可以使用默认设置,必须输
入的先随便输入。
这个过程会安装 HP 驱动(包括网卡驱动)、管理和配置软件。
3、检查安装效果
#lsmod |grep cciss
应该显示 ciss 。
如没有:
#insmod cciss
用 vi 编辑 /etc/,加入:
insmod cciss
cpqacuxe –R
4、重启服务器
#cd /
#umount /mnt
#reboot
三、 阵列配置
有三种方式配置阵列:
方法 1:用 HP SmartStart CD 启动服务器,启用 ACU(Array Configuration
Utility)配置阵列;(图形界面,最方便使用);
方法 2:用 Linux 下命令行配置(可以做 ACU 所有工作,又增加改
MSA500G2 名称等功能);
方法 3:在网络环境下,在一台 PC 上用浏览器登录服务器管理界面
(System Management Homepage),在里面启用 ACU-XE,界面和方法 1
一样。
MSA500G2 共有14颗146GB磁盘,建议仅定义一个磁盘组(Array),包含
13颗磁盘,此磁盘组划分成 4 个逻辑盘,分别标记为 logical disk1-4,下图,每
个逻辑盘都用到13个硬盘的一部分(在操作系统看来是 4 个物理盘)
每个逻辑盘采用 RAID5 模式,第 14 颗硬盘作为热备援盘。当阵列中某个物理磁盘
损坏时,自动加入到阵列中,参与阵列,此时系统从其它磁盘读数据,运算后写入
此磁盘,此过程称为重构(rebuild)。
从以下(一)、(二)、(三)中挑一个方法来配置成上述效果。
(一) 方法 1
1、用 HP SmartStart CD 启动服务器;启用 ACU(Array Configuration
Utility)工具(要用到鼠标):
2、ACU 会自动扫描所有的阵列卡(机器内部集成的,Smart Array 642)和
MSA500G2;点中 MSA500G2;
3、观察检测到的硬盘,看有没有事先的设置,如果有且数据不用,删除掉。
4、先创建磁盘组(Create Array):
5、再分别创建 4 个逻辑盘(Create Logical Drive):
根据需要配置每个逻辑盘的参数:RAID 级别,条带大小(stripe size),逻辑盘大
小(Logical Drive Size,最后一个用默认)。
ss 是条带大小(stripe size),单位是 KB;(性能调优:a.混合读写:使用默
认;b.主要连续读,例如语音和视频应用:stripe size 调大;c.主要是写:例如
图象处理:RAID5 或 6 用小的 stripe size,RAID0 和 1+0 用大的 stripe size);
. raid 级别必须是本控制器能支持的,缺省是 RAID6(ADG,可损坏任意两颗
硬盘,但性能比 RAID5 略低 8%~15%)
5、设置备援盘
注:以上配置(RAID5+热备援)与选择 14 颗硬盘做 RAID6(ADG)相比,磁盘利用
率都是(14-2)/14; RAID6 可靠性更高,但是性能比 RAID5 低 10%左右。
保存,退出 ACU。
(二) 方法 2:用命令行的阵列配置
1、以超级用户 root 登录 Linux 系统,输入阵列配置命令行
#cpqacuxe -stop
#hpacucli
进入阵列配置命令行模式,标记是“=>”;可以敲 help 进行帮助,常见有关术语
见下表:
全称 缩写 解释 全称 缩写 解释
adapterid ai 适配器 ID 号 serialnumber sn 控制器序列号
arrayaccelerator aa 缓存
cacheratio cr 读写缓存比率
logicaldrive ld 逻辑盘,即能
被操作系统看
见的卷
physicaldrive pd 真实的物理硬
盘,操作系统
不可见
chassisname ch 盘柜名字,可
自己修改
controller ctrl 控制器
2、扫描和察看阵列卡
=> rescan
=> ctrl all show
此时应该可以看到 SA642 和 MSA500G2 两个控制器,可能是这样显示:
MSA500G2 in 22K9LYPN44 (sn=xxxxxxxxxxxxxxxxxx xxxxxxxxxxxxx)
Smart Array642 in slot 0 (sn=xxxxxxxxxxxxxxxx )
3、将冗长的盘柜名字从 22K9LYPN44 改成好用好记的
=> ctrl ch=22K9LYPN44 modify ch=21cn
4、设置目标控制器,这样后面命令都是指针对它,可以减少命令行长度
=>set target ctrl ch=21cn
5、查看控制器和其所有物理磁盘和逻辑盘
=>show
=>pd all show
=>ld all show
6、选择物理盘,组成磁盘组(Array),创建逻辑盘(卷);一个磁盘组可以
划成多个逻辑盘,RAID 级别是在逻辑盘指定的,即允许同一磁盘组的不同逻
辑盘各采用不同 RAID 级别。例如本测试里将 14 颗磁盘做进一个磁盘组,再将
它划成 5 个大小接近的逻辑盘:
=>create type=ld drives=1:1-1:13 size=420000 ss=32 raid=5
=>create type=ld drives=1:1-1:13 size=420000 ss=32 raid=5
=>create type=ld drives=1:1-1:13 size=420000 ss=32 raid=5
=>create type=ld drives=1:1-1:13 ss=32 raid=5
以上命令行中:
. drives 也可以随意选择非连续盘,用逗号(,)分开;
. size 后数字的单位是 MB;省略的话是采用所有可用空间做逻辑盘(见以上
第 4 行);
ss 是条带大小(stripe size),单位是 KB;(性能调优:a.混合读写:使用默
认;b.主要连续读,例如语音和视频应用:stripe size 调大;c.主要是写:例如
图象处理:RAID5 或 6 用小的 stripe size,RAID0 和 1+0 用大的 stripe size);
. raid 级别必须是本控制器能支持的,缺省是 RAID6(ADG,可损坏任意两颗
硬盘,但性能比 RAID5 略低 8%~15%)
7、配置备援盘
=>add spares=1:14
8、查看效果
=>ld all show
=>ld 1 show
=>ld 2 show
=>ld 3 show
=>ld 4 show
9、为逻辑盘启用阵列控制器缓存(如果新控制器或新缓存在,加电后,电池充
电期间,缓存会被控制器禁用,一段时间后缓存才可用)
=> ld all modify aa=enable
10、修改阵列控制器缓存的读写比率,默认设为 50% 比 50%,可以根据应用环
境自行调整。
=> modify cr=50/50
*11、为物理盘启用缓存(MSA500G2 不支持)
=> modify dwc=enable
其它设置和命令参阅文档《HP Array Configuration Utility User Guide》的“Using
the Command Line Interface”一节。
12、退出
=>quit
#cpqacuxe –R
(三)方法 3
第四章第(二)节配好后,从网上其它计算机访问本服务器的管理网页,:
http://机器名或 IP:2301
或
https://机器名或 IP:2381
选择 HP Array Configuration Utility;具体配置方法同第(一)节。
(四)验证设备名
#fdisk /dev/cciss/c0d0
[root@localhost ]# fdisk /dev/cciss/c0d0
The number of cylinders for this disk is set to 105412.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (., old versions of LILO)
2) booting and partitioning software from other OSs
(., DOS FDISK, OS/2 FDISK)
Command (m for help): p
Disk /dev/cciss/c0d0: GB, 440402968064 bytes
255 heads, 32 sectors/track, 105412 cylinders
Units = cylinders of 8160 * 512 = 4177920 bytes
Device Boot Start End Blocks Id System
Command (m for help): q
#fdisk /dev/cciss/c0d1
#fdisk /dev/cciss/c0d2
#fdisk /dev/cciss/c0d3
如果有 2 个 msa500G2,另外的设备名就是
/dev/cciss/c1d0
/dev/cciss/c1d1
/dev/cciss/c1d2
/dev/cciss/c1d3
HP DL380G5 内置 E200 阵列卡配的内置硬盘的设备名是:
/dev/cciss/c2d0
(如果分了多个逻辑盘就依次增加)
/dev/cciss/c2d1
....
设备根据具体应用要求使用;一般先建分区(fdisk 里用 n);然后再直接使用裸
设备(例如 /dev/cciss/c0d0p0);也可做成文件系统(#mkfs 设备名)
四、 系统监控
(一) Linux 下基于命令行的察看
#cpqacuxe -stop
#hpacucli
=> ctrl ch=21cn show
=> ctrl ch=21cn ld all show
=> ctrl ch=21cn ld 1 show
=> ctrl ch=21cn pd all show
=> ctrl ch=21cn pd 1 show
如果一颗硬盘坏,上述含 pd 命令可看到。此时 ld 看到。
详细方法参阅第三章第(二)节。
(二) 管理代理,每台服务器必装必配
1、验证和配置网络,开放管理端口
(1)判断网卡是否正确被系统识别
# dmesg | grep -i eth0
如果有返回值,例如:
eth0: registerted as PCnet/PCI ......
说明系统有网卡识别。
# dmesg | grep -i eth1
如果返回空,则表示系统之有一块网卡。没有 eth1。
(2)如何配置网卡地址:
netconfig (缺省是 eth0)
设置图形下的设置, 例如:
查看你的设置是否正确。;
ifconfig eth0
或者 ip addr
还可以通过手动的方式制定 IP 地址:
例如:
ifconfig eth0 netmask up
route add default gw
同样可以达到设置 IP 地址和网关的目的。
(3) ping
从外部机器 ping 或者直接连接到
ping
此时应该可以通。
(5)禁止/设置防火墙功能
# service iptables stop
或
#setup
在 firewall Configuration 里选 Disabled。
如果不允许禁止防火墙,在 custom 里将网卡,http,ssh 设为可用,并增加允许端
口:2301,2381,280,50000
*2、管理 agent 安装
在第二章,已经在系统安装了管理代理,并提供一个访问接口 System
Management Homepage;如果修改过用户密码又不记得之前密码,可能
需要重新执行第二章的安装。
确认 agent 包已经安装:
#rpm –q hpasm
#rpm –q hpsmh
3、设置 System Management Homepage 帐号、安全
#perl /usr/local/hp/
根据需要设置帐号。
账号组别分成管理员、操作员和用户,一般将 linux root 账号加到管理员组。
根据需要设置安全机制。
Trust by Certification 最安全,但是限制最大,方便性受到最大影响;另外有基于名
字的信任和完全信任。
4、设置 SNMP 及管理代理有关配置
(1)修改 SNMP 及管理代理有关配置
#/etc/ configure
按照提示,注意“community string”要正确。
其中一定要输入“Trap Destination”地址,即安装了管理中心软件 SIM 的
管理中心服务器的地址,即后文第(三)节的那台服务器(例如:IP 为
)。
(2)重启 SNMP 和管理代理进程
#/etc/ stop
#/etc/ stop
#/etc/ start
#/etc/ start
5、访问管理代理(System Management Homepage)
从网上其它带浏览器的机器,在浏览器里:
http://机器名或 IP:2301
或
https://机器名或 IP:2381
(三) 管理中心
System Insight Manager(SIM),负责接收各个服务器和存储信
息并负责发起 email 提示报警,同一网络环境只需装一台)
1、系统准备
HP 提供的 SIM 有 Linux,Windows 和 HP-UX 三个版本,任何一个版本可
以跨平台管理安装了主流操作的服务器和存储。本指导手册只介绍
Linux 下 SIM 的安装;SIM 操作则三个版本都是一样的。
SIM 需要用到数据库,在 Linux 环境中可以用 Oracle 和 PostgreSQL,本
指导手册只介绍安装 PostgreSQL。
(1) 如果系统已经安装 PostgreSQL,需要备份它和删除它,否则到步
骤(2)。
#rpm -qa | grep postgresql
To back up your database, execute the following command:
# cp –rp /var/lib/pgsql /var/lib/
# rpm –e rh-postgresql-devel
# rpm –e rh-postgresql-lib
# rm –rf /var/lib/pgsql /usr/lib/pgsql
(2) 要求环境检查
# rpm -qa | grep ssh
#rpm -qa | grep snmp
#rpm -qa | grep compat
#rpm -qa | grep glib
#rpm -qa | grep gdk-pixbuf
没有安装则需要这些 Linux 包。
2、安装 SIM
下载 SIM 并上传到管理中心服务器或使用 SIM for Linux 光盘:
#mount /dev/cdrom /mnt/cdrom
#cd /mnt/cdrom
#cp /mnt/cdrom//HPSIM-Linux*.bin /tmp
#cd /tmp
#chmod u+x .*.bin
#./HPSIM-Linux*.bin
3、初始化 SIM
#/opt/mx/bin/mxinitconfig –l
#/opt/mx/bin/mxstop
#/opt/mx/bin/mxinitconfig –a
这个过程在步骤 14 时间会比较久,可能持续 30 分钟或更长。
可以用
#cat /var/opt/mx/logs/
看完成情况。
4、确认进程都正常
ps -ef | grep mx
可以看见 mxdomainmgr, mxinventory 和 mxdtf
如果没有,用以下方式启动:
#/opt/mx/bin/mxstart
#rpm -qa | grep snmp
5、验证和配置 SNMP 设置
(1)确认 SNMP 和管理代理已安装
#rpm -qa | grep snmp
# rpm -qa | grep hpasm
# /etc/ status
(2)验证和配置 SNMP 设置文件
# /etc/ stop
# /etc/ stop
# vi /etc/snmp/ (redhat 是此目录,其它 Linux 可能目录不
同)
找到 trapsink 一行,如果有#号,去掉之前的#号,改成
trapsink
验证或手工添加:
rocommunity public
(这里以管理中心的 IP 是 , SNMP 只读 community string 是
“public”为例)
保存退出 vi.(:wq!)
# /etc/ start
# /etc/ start
6、初次使用 SIM 和设置
从网上其它带浏览器的机器,在浏览器里:
http://机器名或 IP:280
或
https://机器名或 IP:50000
用户名和密码是 root 和 root 的密码,如果步骤 3 后改了密码又不记得之前密码,
可能需要重新执行步骤 3。以下是成功登录后的画面。
(1) 配置发现范围
点击上图中红圈处;先 enable,再 edit
增加要管理的 IP 地址区间,默认一般是所在网段的所有 IP,可以增加例外
(exclude);可以修改自动发现设备的间隔,默认是每天上午 11 点。
再点击 [Run Now]按键开始搜索。
点击右上角的 home 链接回到 home 页面。
(2) 配置邮件报警设置,发起(From)
点击 email 设置链接;
SIM 本身并没有邮件服务功能,这里填写 SIM 所在网络环境中的邮件服务器的真
实机器名或 IP,填写发送者(from)的邮箱地址,如果此邮箱需要账号、密码,
请钩选“Server Requires Authentication”并填入帐号和密码。
点击[OK]并点击右上角的 home 链接回到 home 页面。
(3) 配置邮件报警设置,递送目标(To)
点击“Set up Automatic event handing”:
使用现有或创建一个事件处理任务:
取一个自己喜欢的任务名字:
确定哪些类型事件需要发送邮件报警,一般用默认的“重要未清除事件”:
钩选 “Send e-mail”和“Write to System Log”,在 To:和 CC:处填入发送目标的邮箱地
址,多个邮箱用逗号隔离,不能用分号,不能是中文全角。在 Subject 里填入自己
定义的邮件主题内容(邮件正文会是具体事件的描述,不能在这里自己设):
(4)确认 SIM 服务器和 e-mail 服务器网络能够通,需要设置网关要设置网关,需
要加路由的要加路由。
按 next,“Select time filter”里,如果希望在某段时间不发送,设置它,建议不理
会,按 next;看看设置的总结:
参阅文档:
《HP Array Configuration Utility User Guide》
《HP System Management Homepage Release Notes》;
《System Management Homepage online help》
《HP System Management Homepage Installation Guide》
《Linux Trap ID and SNMP Traps》
《HP Systems Insight Manager Installation and Configuration Guide for Linux》