浪潮天梭TS10K集群培训
2
8/8/2022Inspur group
第一章 集群介绍1
3
一、什么是集群？
““联结起来的计算机的集联结起来的计算机的集
合，整个系统使用起来像合，整个系统使用起来像
一个单一的一体的计算资一个单一的一体的计算资
源源””
- Greg Pfister, - Greg Pfister, In Search of In Search of
cclusterslusters
4
二、为什么用集群？
通俗的说，就是单一计算节点的资源已经无法满足我们的计算需求，通俗的说，就是单一计算节点的资源已经无法满足我们的计算需求，
比如内存的容量，比如内存的容量，cpucpu的计算能力。也许一个算例我们要计算数周的计算能力。也许一个算例我们要计算数周
甚至数月，这时候我们就需要用到集群来处理这些计算问题。甚至数月，这时候我们就需要用到集群来处理这些计算问题。
5
三、集群有哪些部分组成？
计算节点：承载集群
的计算任务
管理节点：用户登录、
管理调度整个集群、任
务提交等，提供对整个
系统的监控管理
存储节点：存储大量
的计算数据，高可用，
高安全
6
硬件架构
7
网络架构
8
网络规划
管理ip：管理节点
~31计算节点
~35 io节点
计算 ip：段，尾数同上
IPMI网络：管理节点
~104 io节点
第一个刀箱，对应101~120
，cu01~cu20
第二个刀箱，对应101~121
，cu21~cu31
9
8/8/2022Inspur group
第二章 集群使用2
10
需要的条件：
1、客户端与集群连通
2、客户端如果为linux可以直接ssh登录到管理
节点；如果为windows系统，需要安装相应软件
3、一个合法账号！
4、相应操作知识积累
11
并行环境搭建
Linux集群并行环境主要配置以下4个服务
1、rsh服务 通讯服务
2、ssh服务 通讯服务
3、nfs服务 目录共享
4、nis服务 用户同步
12
并行环境搭建-rsh服务配置
rsh服务配置
开启root用户对所有节点的rsh权限
1、编辑/etc/hosts节点名称解析，加入所有（包括本机）节
点的ip地址和对应的计算机名；
此文件在一台机器上编辑完毕可以拷贝到别的节点上使用；
注意这一行不要动，否则会影响到服务器的正常
使用。
例如：
mu01
cu01
cu10
13
并行环境搭建-rsh服务配置
2、编辑/root/.rhosts和/etc/，加入所有节点
的计算机名
例如：
mu01
cu01
cu10
3、开启rsh服务：setup→system
services→[*]rsh[*]rlogin[*]rexec
14
并行环境搭建-rsh服务配置
4、编辑/etc/securetty，加入rsh，rexec，rlogin（在文
件后面添加就可以）
5、重起服务service xinetd restart
rsh的配置需要在所有节点上进行。
15
并行环境搭建-ssh服务配置
1、在mu01上以root登录，然后运行ssh-keygen –t dsa，
目的是简单的在 /root下创建目录.ssh，当提示输入
passphase时打入两次回车。这将生成/root/.ssh/id_dsa和
/root/.ssh/
2、在cu01上以root登录，运行ssh-keygen –t dsa，然后在
mu01上运行scp /root/.ssh/ gpu01：
/root/.ssh/authorized_keys，在cu01的/root/.ssh/目录下运
行cat 〉〉authorized_keys，再运行scp
authorized_keys gpu02：/root/.ssh/
16
并行环境搭建-ssh服务配置
3、在cu02的/root/.ssh/目录下运行cat 〉〉
authorized_keys，再运行scp authorized_keys cu03：
/root/.ssh/
4、重复以上步骤在后面结点上，在最后的计算节点上
将生成一个完整的authorized_keys文件，然后把
authorized_keys文件用scp命令拷贝到其余所有节点的
/root/.ssh/目录下，ssh配置完成。
17
并行环境搭建-nfs服务配置
server端配置
1、建立文件/etc/exports（若已存在该文件，则先删除再重
新建立）
2、vi /etc/exports/，在文件内添加上语句：
/home *(rw,no_root_squash,sync)
/opt*(rw,no_root_squash,sync)
（目录为需要共享的目录，目录和星号之间有空格。）
3、激活nfs chkconfig nfs on service nfs restart
此时可以到client上用showmount –e IP（或者server的
主机名）来扫描server端共享的目录。若exports文件重新
编辑了，可以运行exportfs –rv来更新一下，这样client端就
可以挂载修改后的目录了。
18
并行环境搭建-nfs服务配置
client端配置
1、扫描可以使用的server目录：showmount –e mu01
2、使用mount将远程主机分享的目录挂载进来：
mount –t nfs vers=3 mu01:/opt /opt
此时可以通过df命令看挂载是否正常；
为了实现开机自动挂载还可将
mount –t nfs vers=3 mu01:/opt /opt
写入到/etc/中以使节点启动后自动挂载目录。
19
并行环境搭建-nis服务配置
server端配置
1、配置NIS域名
nisdomainname TS10K
把NISDOMAIN=TS10K添加到network里 实现开机自动配
置域名
2、开启两个服务：
service yppasswdd start
service ypserv start(需要先配置NIS域名才能启动成功)
可以使用rpcinfo –u 本机名 ypserv 察看ypserv是否启动，若
成功启动会看到：
program 100004 version 1 ready and waiting
program 100004 version 2 ready and waiting
20
并行环境搭建-nis服务配置
若没看到，则把ypserv重新启动一下即可。
回车后会显示类似内容：mu01 has been set up as a
NIS server ,now you can run ypinit –s mu01 on all
slave server.
在server端重新建立新用户后，需要到/var/yp 目录下
make一下，这样client端才能使用新用户登录
3、数据初始化
cd /usr/lib64/yp
./ypinit –m
ctl+d来结束这个命令
再打入回车
21
并行环境搭建-nis服务配置
client端配置
1、设定NIS client
setup→authentication configuration→[*]use NIS
填写：Domain：TS10K （NIS的域名）
Server： mu01 （server端的名称或者ip）
2、开启服务
setup→system services→[*]ypbind
service ypbind restart
使用命令：ypcat passwd 可以发现在server端建立的帐户名称被列举
了出来；若使用这些帐户的话需要在本地/home目录下建立其相对应的
用户目录。
22
编译环境
集群中现存的编译器
gcc
icc ifort mpicc mpiicc等
调用集群内部高速的IB计算网络，通常使用
mpirun -genv I_MPI_DEVICE rdssm –np –machinefile
+执行文件
rdssm即是mpirun编译器调用IB协议的参数。
如果是ssm，则是使用以太网络。
23
编译软件
安装intel C编译器，fortran编译器，mkl数学库一体包。
安装intel mpi编译器。
安装目录：/opt/intel
计算节点挂载管理节点的nfs共享安装路径调用编译软件
等。
24
编译软件-Intel 并行环境变量设置
在~/.bashrc里加入如下三行
source /opt/intel/
intel64
###intel编译器
source /opt/intel/mkl/bin/intel64/
###intel数学库
source /opt/intel/impi/
###intel mpi
执行source ~/.bashrc使编译器环境变量生效。
可将它写进/etc/bashrc里，新加用户将其作为默认编译
器
25
MPI程序的并行编译
编译方法：
mpicc -o hello
mpiicc –o hello
执行方法：
./hello
注：1，mpicc是调用gcc为底层 的编译，mpiicc是调用
icc为底层的编译。
2，源代码需支持并行编译。
26
程序编译步骤简介
1. 下载源码包（不是版本越新越好）
2. 查看INSTALL文件或官方installation指导（查看依赖和参数）
3. configure --prefix=path/to/your/soft （可选）
4. make
5. make install
依赖库
1. 查看版本
2. 指定安装路径
3. 设置环境变量 写到
~/.bash_profile (普通用户)
export PATH=$PATH:/path/to/your/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/path/to/your/lib
软件编译
27
TSExa并行文件系统
底层为lustre并行系统，包含4台2U机架式5270M4，其
中两台io01,io02做为mds双机互备节点，另外两台io节
点作为oss节点，各自挂载一部分存储空间分别为ost0，
ost1，且为双机互备。
Mdt包含两块硬盘做raid1；ost包含7块硬盘做raid5，剩
下一块全局热备盘，共计17块硬盘。
每个ost约22T空间，共约44T空间。
28
TSExa并行文件系统
Io01与io02存在心跳，io03与io04之间存在心跳，当一
节点宕机时，另一互备节点会接替其挂载资源并提供服
务。
管理节点mu01,及31台计算刀片为lustre的客户端，挂载
目录为/lustre即为存储空间，可用df –h查看。
挂载指令 ibio01@o2ib,ibio02@o2ib:/lustre
/lustre
29
TSCE集群作业管理调度软件
TSCE集群作业管理调度软件常用作业指令
qnodes,pbsnodes用于查看当前可用节点与核心数。
30
TSCE集群作业管理调度软件
qnodes与pbsnodes等效，通常可以qnodes –l all查看节
点是否就位
31
qsub作业提交，用法：qsub
qstat查看作业状态。
qstat –an查看作业使用节点及核心情况
TSCE集群作业管理调度软件
32
qdel删除作业，用法：qdel 作业号
几种作业的状态（S）：
Q 作业排队
R 作业执行
C 作业清除
E 作业退出
TSCE集群作业管理调度软件
33
PBS相关指令
管理节点服务：
pbs_server，作业管理服务
maui，作业调度器
计算节点服务：
pbs_mom，作业调度子服务，与pbs_server相对应
service pbs_server status查看服务状态。
每次重启pbs_server服务时，需对应重启pbs_mom服务，
最终保证qnodes下没有down的节点。
34
所装软件版本
intel parallel /opt/intel intel 编译
器
Intel mpi /opt/intel/impi/ intel并行
mpi
TSCE /opt/tsce 浪潮作业调度软件，集成
torque
ansys /opt/soft/ansys 应用软件
pdsh /opt/ 并行批处理软件
mpich /opt/soft/ 编译器
所有节点操作系统 RHEL
35
Vasp脚本
#PBS -N vasptest
#PBS -l nodes=3:ppn=12
#PBS -l walltime=12:00:00
#PBS -q batch
#PBS -V
#PBS -S /bin/bash
cd $PBS_O_WORKDIR
EXEC=/opt/software/
录视情况而定）
36
NP=`cat $PBS_NODEFILE | wc -l`
NN=`cat $PBS_NODEFILE | sort | uniq | tee
/tmp/nodes.$$ | wc -l`
cat $PBS_NODEFILE > /tmp/nodefile.$$
mpirun -genv I_MPI_DEVICE rdssm -
machinefile /tmp/nodefile.$$ -n $NP $EXEC
rm -f /tmp/nodefile.$$
37
TSCE网页管理界面
远端输入登陆ip:8080/TSCE可调出TSCE的网页管理界
面
38
TSCE网页管理界面
主界面
39
TSCE网页管理界面
TSCE网页最主要的功能——集群监控
40
8/8/2022Inspur group
第三章 集群维护管理3
41
集群批处理软件使用
pdsh是集群常用并行批处理软件
[root@mu01 test]# pdsh –w cu[01-31] uptime
allc串行处理
42
机器开机说明
1 将所有PDU加电，等待1分钟,待设备完成加电自检。
2 开启存储阵列，需要先开扩展柜，再开主柜，直接打开电源即可。
（若如掉电，存储尽量保持开机状态）
3 开启管理节点mu01，约两分钟进入系统。
4 开启TSExa系统元数据节点，即 io01与io02，约两分钟进入系统，
进系统后，执行crm_mon检查互备是否正常，如果不正常需要重启
pacemaker和corosync服务。
5 开启oss节点，打开io03与io04，约两分钟进入系统，判断互备是否
正常。
6 待io节点都开机后正常后，依次打开31个刀片计算节点。
7 mu01挂载并行文件系统。
常规检查：
[root@mu01 ~]# ibio01@o2ib,ibio02@o2ib:/lustre /lustre
[root@mu01 ~]# allc uptime
[root@mu01 ~]# allc “df –h|grep /opt”
[root@mu01 ~]#allc “df –h|grep /home”
[root@mu01 ~]#allc “ypcat passwd”
[root@mu01 ~]#qnodes -l all
43
机器关机说明
1先关闭cu计算节点
可以在mu01上用allc poweroff命令把31个计算节点关闭
2 再关闭管理节点mu01，直接在mu01上运行poweroff。
3 如果必要，关闭并行文件系统，io01~io04依次关闭（因
为已经关闭管理节点，只能现场关闭）
4 最后关闭存储510H及扩展柜，只能现场关闭。
注：1，如果不能现场关闭存储io节点，可以在管理节点上
先行卸载lustre挂载，然后关闭io节点，再关闭自身，但存
储阵列510H不能命令行关闭。
2，如果关机出现不能正常关机卡在某一步，需手动
强制关机，及长按关机键数秒。
44
节点IPMI管理界面
此界面是集成在主板的硬件管理界面。
管理界面节点需管理节点firefox，输入ip。
管理节点和io节点用户名及密码见铭牌
刀片的管理用户名与密码：root LC6s5d?FW?
45
存储挂载情况
查看用户存储空间 df -h
整个集群上存储挂载情况为
计算节点
[root@cu01 ~]# df –h
除本地文件系统外，还包括nfs的mu01节点/opt与io01的/home
管理节点(mount)
[root@mu01 opt]# df -h
46
新建一个用户并提交作业流程解析
step1
在集群中添加新用户，首先在管理节点mu01上添加新用户
添加用户命令：[root@mu01 ～]# /opt/ssh/adduser
新建用户的设置初始密码，用户在拿到帐号后，第一时间，使
用该账号登录到mu01，然后ssh到cu01输入yppasswd来更改密码。
新建地用户已配置好基本的并行环境。
Intel 编译器环境变量写到/etc/bashrc里，这样，每个存在用
户均调用该环境变量。
47
新建一个用户并提交作业流程解析
step2
测试用户
新用户添加后，尝试使用新用户test登录
[root@mu01 ～]# su - test
[test@mu01 ～]# ssh cu01
su - test （切换到test用户）
执行allc uptime
48
Step3
提交作业
打开ssh工具
新建一个用户并提交作业流程解析
49
新建一个用户并提交作业流程解析
step4
打开sftp工具上传需要计算的
文件到自身home下
执行程序也要放到home下
注意环境变量设置
以上存放目录的要求是为
让计算节点都能找到对应的
文件。
50
开关机按钮
管理节点：
51
机器硬件识别常用命令
1、CPU的识别：[test@mu01 /]$ cat /proc/cpuinfo
2、内存的识别：[test@cu01 root]$ free -g
3、硬盘的识别：
[root@mu01 /]# fdisk –l或者[root@mu01 /]# df –h
4、基于千兆以太网的查看
[root@mu01 /]# ethtool eth1
52
集群常见故障的解决
PBS node状态方面
cu01 offline
此故障首先在mu01下用root用户执行pbsnodes –c
cu01，执行完毕后查看状态时否为free
cu02 down
此故障较多为硬件故障引起，请在mu01下ping这台机器看是否通，
如不通，请重启此台机器，如果无法启动此机器，请报修
53
集群常见故障的解决
文件系统以及NFS方面
查看是否正常挂载mu01的/opt和io01的/public到/home
nis用户同步
allc “ypcat passwd”
54
集群常见硬件故障
网络不通，拔插网线，看网线灯是否亮，如无效，更换线缆测试
红灯常亮，即为损坏（硬盘，电源模块，状态灯等）。
55
报修方式
客服硬件报修电话：4008600011 / 8008600011
客服硬件报修邮箱：lckf@
Email ：lijun_bj@
电话:+86 18600945654
mailto:lijun_bj@
56
2022/8/8Inspur group
谢谢大家!
