PC 机群的搭建

PC 机群的搭建

国家高性能计算中心（合肥） 223/4/19

PC 机群的搭建1.1. 机群系统概述机群系统概述 2.2. 硬件的选择与安装硬件的选择与安装3.3. 软件的选择与安装软件的选择与安装4.4. 机群系统性能评测机群系统性能评测


机群系统概述什么是机群？什么是机群？机群是一组独立的计算机（节点）的集合体，节点间通机群是一组独立的计算机（节点）的集合体，节点间通

过高性能的互连网络连接；各节点除了可以作为一个单过高性能的互连网络连接；各节点除了可以作为一个单一的计算资源供交互式用户使用外，还可以协同工作并一的计算资源供交互式用户使用外，还可以协同工作并表现为一个单一的、集中的计算资源供并行计算任务使表现为一个单一的、集中的计算资源供并行计算任务使用。用。

一种造价低廉、易于构筑、并且具有较好可扩放性的并一种造价低廉、易于构筑、并且具有较好可扩放性的并行机体系结构行机体系结构


发展迅速的原因作为机群节点的工作站系统的处理性能越来越强大，更作为机群节点的工作站系统的处理性能越来越强大，更

快的处理器和更高效的多快的处理器和更高效的多 CPUCPU 机器将大量进入市场；机器将大量进入市场；随着局域网上新的网络技术和新的通信协议的引入，机随着局域网上新的网络技术和新的通信协议的引入，机

群节点间的通信能获得更高的带宽和较小的延迟；群节点间的通信能获得更高的带宽和较小的延迟；机群系统比传统的并行计算机更易于融合到已有的网络机群系统比传统的并行计算机更易于融合到已有的网络

系统中去；系统中去；机群上的开发工具更成熟，而传统的并行计算机上缺乏机群上的开发工具更成熟，而传统的并行计算机上缺乏

一个统一的标准；一个统一的标准；机群价格便宜并且易于构建；机群价格便宜并且易于构建；机群的可扩放性良好，节点的性能也很容易通过增加内机群的可扩放性良好，节点的性能也很容易通过增加内

存或改善处理器性能获得提高。存或改善处理器性能获得提高。


重要特征机群的各节点都是一个完整的系统，节点可以是工作站，机群的各节点都是一个完整的系统，节点可以是工作站，

也可以是也可以是 PCPC 机或机或 SMPSMP 机器；机器；互连网络通常使用商品化网络，如以太网、互连网络通常使用商品化网络，如以太网、 FDDIFDDI 、光、光

通道等，部分商用机群也采用专用网络互连；通道等，部分商用机群也采用专用网络互连；网络接口与节点的网络接口与节点的 I/OI/O 总线松耦合相连；总线松耦合相连；各节点有一个本地磁盘；各节点有一个本地磁盘；各节点有自己的完整的操作系统。各节点有自己的完整的操作系统。


分类根据不同的标准，可有多种分类方式根据不同的标准，可有多种分类方式针对机群系统的使用目的可将其分为三针对机群系统的使用目的可将其分为三

类：类：1.1. 高性能计算机群高性能计算机群2.2. 负载均衡机群负载均衡机群3.3. 高可用性机群高可用性机群


典型机群系统 Berkeley NOWBerkeley NOW Beowulf Beowulf

COTSCOTS （（ Commodity off the shelCommodity off the shelff ））

LAMP LAMP SMPSMP －－ clustercluster




硬件的选择与安装节点构建节点构建

处理器、内存、总线、磁盘与处理器、内存、总线、磁盘与 I/OI/O 系统构建系统构建

网络适配卡、交换机网络适配卡、交换机机群系统示例机群系统示例

天体物理中心天体物理中心 6464 个节点个节点 PCPC 机群机群 11 个服务节点（兼作计算节点）和个服务节点（兼作计算节点）和 6363 个计个计

算节点算节点


机群系统示例服务节点配置服务节点配置：：

CPUCPU ：： Pentium Ⅳ 2.0GPentium Ⅳ 2.0G （（ 512KB512KB 全速二级缓存）全速二级缓存）内存：内存： 1G1G （（ 22512M512M ）） Rambus Rambus 硬盘：硬盘： 80GB IDE80GB IDE 主板：主板： ASUS P4T Socket 423 ASUS P4T Socket 423 网卡：网卡： 3com 905 3com 905 ––TXTX （两个）（两个）显卡、显示器、键盘、鼠标、光驱、软驱：略显卡、显示器、键盘、鼠标、光驱、软驱：略

计算节点配置：计算节点配置： CPUCPU ：： Pentium Ⅳ 1.5GPentium Ⅳ 1.5G （（ 512KB512KB 全速二级缓存）全速二级缓存）内存：内存： 512MB512MB （（ 22256M256M ）） Rambus Rambus 硬盘：硬盘： 40GB IDE40GB IDE 主板：主板： ASUS P4T Socket 423 ASUS P4T Socket 423 网卡：网卡： 3com 905 3com 905 ––TX TX


机群系统示例交换设备由交换设备由 22 个个 3com 3c169803com 3c16980 和和 11 个个 3com 3com

3c169853c16985 的交换机通过一个的交换机通过一个 matrix modulematrix module 堆叠而堆叠而成，并安装了一个千兆光纤模块，以备服务接点连接内成，并安装了一个千兆光纤模块，以备服务接点连接内部机群的网卡升级为千兆网卡。部机群的网卡升级为千兆网卡。




软件的选择与安装 OSOS 的选择的选择 SSISSI 的构建的构建编程环境的选择编程环境的选择


OS 的选择 WindowsWindows UNIXUNIX LinuxLinux

机群系统示例机群系统示例 Redhat 7.2Redhat 7.2 版本（内核版本（内核 2.4.102.4.10 ））


SSI 的构建单一系统映像单一系统映像 SSISSI （（ Single System ImageSingle System Image ））

单一系统单一系统：尽管系统中有多个处理器，用户仍然把整：尽管系统中有多个处理器，用户仍然把整个机群视为一个单一的系统来使用个机群视为一个单一的系统来使用

单一控制单一控制：逻辑上，最终用户或系统用户使用的服务：逻辑上，最终用户或系统用户使用的服务都来自只有唯一接口的同一个地方都来自只有唯一接口的同一个地方

对称性对称性：用户可以从任一个节点上获得机群服务，也：用户可以从任一个节点上获得机群服务，也就是说，对于所有节点和所有用户，除了那些对一般就是说，对于所有节点和所有用户，除了那些对一般访问权限作保护的服务和功能外，所有机群服务和功访问权限作保护的服务和功能外，所有机群服务和功能都是对称的能都是对称的

位置透明位置透明：用户不用了解真正执行服务的物理设备的：用户不用了解真正执行服务的物理设备的位置位置


SSI 提供的三种服务

单一登录（单一登录（ Single Sign OnSingle Sign On ））单一文件管理（单一文件管理（ Single File HierarchySingle File Hierarchy ））单一作业管理系统单一作业管理系统 (Single Job Management (Single Job Management

System) System)


单一登录（ Single Sign On ）两种方法两种方法

网络信息系统网络信息系统 NISNIS （（ Network Network Information SystemInformation System ））

ShellShell 脚本（脚本（ Shell ScriptShell Script ））


网络信息系统 NIS

服务器端：服务器端：①①设置设置 NISNIS 域名：域名：在文件在文件 /etc/sysconfig/network/etc/sysconfig/network 中添加如下一行：中添加如下一行：NISDOMAIN=PCClusterNISDOMAIN=PCCluster

②②初始化数据库：初始化数据库：运行运行 /usr/lib/yp/usr/lib/yp 目录下的目录下的 ypinitypinit命令初始化系统信息数据库：命令初始化系统信息数据库：

［［ node0node0 ］］ # /usr/lib/ypinit # /usr/lib/ypinit ––mm③③启动守护进程：启动守护进程：

在在 /etc/rc.d/rc3.d/etc/rc.d/rc3.d 目录下增加两个链接，以便系统在启动时自动目录下增加两个链接，以便系统在启动时自动载入守护进程：载入守护进程：［［ node0node0 ］］ # cd /etc/rc.d/rc3.d# cd /etc/rc.d/rc3.d［［ node0node0 ］］ # ln # ln ––s ../init.d/ypserv S61ypservs ../init.d/ypserv S61ypserv

［［ node0node0 ］］ # ln # ln ––s ../init.d/yppasswdd S61yppasswds ../init.d/yppasswdd S61yppasswd


网络信息系统 NIS

客户端：客户端：在客户节点上（在客户节点上（ node1node1 到到 node63node63 ）运行）运行 setupsetup命命令，然后在出现的对话框中选择令，然后在出现的对话框中选择““ Authentication Authentication ConfigurationConfiguration”” ，选择，选择 NISNIS ，填入域名，填入域名 PCClusterPCCluster 以以及服务器名及服务器名 node0node0 ；并在文件；并在文件 /etc/passwd/etc/passwd 中加入中加入以下一行：以下一行：++ ：：：： 0 0 ：： 0 0 ：：：：：：


Shell脚本 NISNIS ：设置方便，但是采用客户／服务器模式，在应用：设置方便，但是采用客户／服务器模式，在应用启动的时有可能产生瓶颈。启动的时有可能产生瓶颈。

为了提高性能，我们可以采用为了提高性能，我们可以采用 ShellShell 脚本的方式来完成脚本的方式来完成同样的工作。同样的工作。

例如，对用户信息的管理，可以创建一个名为例如，对用户信息的管理，可以创建一个名为cluster_usercluster_user 的脚本，负责在其所在结点上创建新的的脚本，负责在其所在结点上创建新的用户，而后再将相关的配置文件（用户，而后再将相关的配置文件（ /etc/passwd/etc/passwd 、、 //etc/groupsetc/groups ）复制到机群系统中所有其它节点，这里）复制到机群系统中所有其它节点，这里要注意的一点是用户的主目录应该建立在全局共享的分要注意的一点是用户的主目录应该建立在全局共享的分区中（区中（ NFSNFS共享）。对其它的一些信息，比如共享）。对其它的一些信息，比如 /etc//etc/hostshosts 和和 /etc/host.equiv/etc/host.equiv 等文件可同样处理。等文件可同样处理。


单一文件管理 NFSNFS 是一种是一种 Unix/LinuxUnix/Linux 之间通过网络共享文件的标准之间通过网络共享文件的标准

方式。使用方式。使用 NFSNFS ，就能够透明的安装和访问网络上远，就能够透明的安装和访问网络上远程主机的文件系统，将其安装（程主机的文件系统，将其安装（ mountmount ）在本地的文）在本地的文件系统中，类似于件系统中，类似于 WindowsWindows 下的映射驱动器。下的映射驱动器。

示例机群：节点示例机群：节点 node0node0 是服务器，把目录是服务器，把目录 /home/home和和 /Cluster/Cluster 进行共享；节点进行共享；节点 node1node1 到到 node63node63 是客是客户端，把服务器的户端，把服务器的 /home/home 和和 /Cluster/Cluster 安装到自己的文安装到自己的文件系统当中。件系统当中。


单一文件管理

服务器端：服务器端：

(1)(1)启动服务进程：启动服务进程： NFSNFS 服务器需要使用守护进程服务器需要使用守护进程 nfsdnfsd 和和 mountdmountd ，，通过在目录通过在目录 /etc/rc.d/rc3.d/etc/rc.d/rc3.d 之下增加链接可以使系统在启动时自之下增加链接可以使系统在启动时自动载入这两个进程：动载入这两个进程：［［ node0node0 ］］ # cd /etc/rc.d/rc3.d# cd /etc/rc.d/rc3.d

［［ node0node0 ］］ # ln # ln ––s ../init.d/nfs S60nfss ../init.d/nfs S60nfs


单一文件管理(2) (2) 设置共享目录：首先，在根目录下建立目录设置共享目录：首先，在根目录下建立目录 /home/home 和和 /Cluster/Cluster 。。

［［ node0node0 ］］ # mkdir home# mkdir home

［［ node0node0 ］］ # mkdir Cluster# mkdir Cluster

然后，在文件然后，在文件 /etc/exports/etc/exports 当中增加以下几行。当中增加以下几行。//home home node1 (rw)node1 (rw)

/Cluster /Cluster node1 (rw)node1 (rw)

…………

//home home node63 (rw)node63 (rw)

/Cluster /Cluster node63 (rw)node63 (rw)

这几行的意思是将服务器上的这几行的意思是将服务器上的 /home/home 和和 /Cluster/Cluster 目录进行共享，目录进行共享，设置节点设置节点 node1node1 到到 node63node63 可以访问，可以访问， rwrw 表示允许读和写（缺表示允许读和写（缺省为只读）。这里要注意的一点是所有用到的主机名必须在文省为只读）。这里要注意的一点是所有用到的主机名必须在文件件 /etc/hosts/etc/hosts 中给出中给出 ipip 地址，例如：地址，例如：192.168.0.11192.168.0.11 node1node1


单一文件管理客户端：客户端：

在文件在文件 /etc/fstab/etc/fstab 当中加入两行：当中加入两行：node0:/homenode0:/home /home/home nfsnfs

node0:/Clusternode0:/Cluster /Cluster/Cluster nfsnfs

当然，相应的要在文件当然，相应的要在文件 /etc/hosts/etc/hosts 中给出主机中给出主机 node0node0 的的 ipip 地址：地址：192.168.0.10192.168.0.10 node0node0

这样就完成了这样就完成了 NFSNFS 在机群系统中的设置，以后所有用户的主目录在机群系统中的设置，以后所有用户的主目录都可以设置在都可以设置在 /home/home 中，所有可以共享安装的软件可以放在中，所有可以共享安装的软件可以放在 //ClusterCluster 中。中。


单一作业管理系统用户可以透明地从任一节点提交一项作业，作业可以调度为以批处理、交互或并行的模式运行

用户服务器、任务调度器、资源管理器典型的作业管理系统

PBSPBS （（ Portable Batch SystemPortable Batch System ）） LSFLSF （（ Load Sharing FacilityLoad Sharing Facility ）） CondorCondor JOSS JOSS

PBSPBS 的安装的安装


软件的选择与安装 OSOS 的选择的选择 SSISSI 的构建的构建编程环境的选择编程环境的选择


编程环境的选择流行的编程软件流行的编程软件

MPIMPI 、、 OpenMPOpenMP 、、 HPFHPF

MPICHMPICH 的安装及配置的安装及配置示例机群中构建了单一映象系统。示例机群中构建了单一映象系统。 6464 个节个节

点（点（ node0node0 到到 node63node63 ）中）中 node0node0共共享享 ./Cluster./Cluster 目录给所有其它节点。这样只目录给所有其它节点。这样只需将需将 MPICHMPICH 安装在这个共享目录中即可，安装在这个共享目录中即可，即整个系统中只需安装一次。即整个系统中只需安装一次。


MPICH 的安装①①MPICHMPICH 是一个开放源码的软件，所以可以从网上免费是一个开放源码的软件，所以可以从网上免费

获取它的源代码。用户可以直接从获取它的源代码。用户可以直接从 MPICHMPICH 的主页下载的主页下载最新的软件包最新的软件包mpich.tar.gzmpich.tar.gz ，然后将它置于，然后将它置于 /Cluster/Cluster目录下。目录下。

②②使用如下命令解压缩源代码：使用如下命令解压缩源代码：［［ node0node0 ］］ # tar # tar ––zxf mpich.tar.gzzxf mpich.tar.gz

解压缩后会生成一个名字为解压缩后会生成一个名字为 mpich-1.2.4mpich-1.2.4 的目录。的目录。


MPICH 的安装③③进入该目录，并执行位于该目录下进入该目录，并执行位于该目录下 configureconfigure 脚本，为下一步编脚本，为下一步编译源代码进行准备。该配置脚本可以接受很多的参数（译源代码进行准备。该配置脚本可以接受很多的参数（ OptionOptionss ），通过运行命令如下：），通过运行命令如下：

［［ node0node0 ］］ # ./configure # ./configure ––helphelp

可以获取更详细的参数信息。这里只列举几个最常用的参数：可以获取更详细的参数信息。这里只列举几个最常用的参数：-prefix-prefix ：指定：指定mpichmpich 的安装目录。的安装目录。--with-device--with-device ：指明所使用的通信系统类型。一般情况下我们使：指明所使用的通信系统类型。一般情况下我们使用用 ch_p4ch_p4 ，它表示通常的，它表示通常的 TCP/IPTCP/IP 通信系统。通信系统。--with-arch--with-arch ：指明所使用的操作系统的类型。：指明所使用的操作系统的类型。运行如下命令完成前期配置：运行如下命令完成前期配置：

［［ node0node0 ］］ # ./configure --prefix=/Cluster/MPICH \# ./configure --prefix=/Cluster/MPICH \

--with-device=ch_p4 \--with-device=ch_p4 \

--with-arch=LINUX--with-arch=LINUX


MPICH 的安装④④最后，先通过运行最后，先通过运行 susu命令转变到命令转变到 rootroot 用户身份，再用户身份，再运行如下命令完成运行如下命令完成 MPICHMPICH 的编译和安装的编译和安装 ::

［［ node0node0 ］］ # make# make

［［ node0node0 ］］ # make install# make install

至此就完成了机群系统中至此就完成了机群系统中 MPICHMPICH 的安装。的安装。


MPICH 的配置①①第一步要进行第一步要进行 rshrsh 的配置，使系统中不同节点之间的的配置，使系统中不同节点之间的 rshrsh 操作不需操作不需

要密码的输入。这首先需要在每个节点的要密码的输入。这首先需要在每个节点的 /etc/hosts/etc/hosts 文件中写入文件中写入node0node0 到到 node63node63 的的 (( 主机名主机名 ,IP,IP 地址地址 )) 对；然后在对；然后在 /etc//etc/host.equivhost.equiv 中写入所有的机群节点主机名，下面是中写入所有的机群节点主机名，下面是 node0node0 上的这上的这两个文件内容：两个文件内容：［［ node0node0 ］］ # cat /etc/hosts# cat /etc/hosts192.168.0.10192.168.0.10 node0node0192.168.0.11192.168.0.11 node1node1192.168.0.12192.168.0.12 node2node2…………192.168.0.163192.168.0.163 node63node63

［［ node0node0 ］］ # cat /etc/host.equiv# cat /etc/host.equivnode0node0node1node1node2node2…………node63node63


MPICH 的配置②②第二步要更改第二步要更改 MPICHMPICH 的节点列表文件，该文件位于的节点列表文件，该文件位于 //

Cluster/MPICH/shareCluster/MPICH/share 目录下。这里我们使用的目录下。这里我们使用的 archarch参数是参数是 LINUXLINUX ，相应的列表文件为，相应的列表文件为machines.LINIUXmachines.LINIUX 。在这个文件中要写明机群系统中。在这个文件中要写明机群系统中所有的节点的主机名。该文件以一定的方式指明了实际所有的节点的主机名。该文件以一定的方式指明了实际执行执行 MPIMPI程序时进程是如何分配到各个节点上的。程序时进程是如何分配到各个节点上的。

以下是示例机群中的以下是示例机群中的 machinesmachines 文件：文件：［［ node0node0 ］］ # cat /Cluster/MPICH/share/machines.LINUX# cat /Cluster/MPICH/share/machines.LINUXnode0node0node1node1node2node2…………node63node63


MPICH 的运行 MPICHMPICH 中最常用的两个命令就是中最常用的两个命令就是 mpiccmpicc 和和 mpirunmpirun 。。 mpiccmpicc 是一个是一个 MPIMPI 编译器，它负责将源程序编译为可执行文件，编译器，它负责将源程序编译为可执行文件，它最常用的参数是它最常用的参数是 -o-o 用来指明输出文件。用来指明输出文件。［［ node0node0 ］］ # cd /Cluster/MPICH/examples# cd /Cluster/MPICH/examples［［ node0node0 ］］ # ../bin/mpicc cpi.c # ../bin/mpicc cpi.c ––o cpinewo cpinew

mpirunmpirun 则是用来执行一个编译好的则是用来执行一个编译好的 MPIMPI 程序。下面是它最常用程序。下面是它最常用的一些参数：的一些参数：-np <np>-np <np> ：用来指明所要生成的进程数。：用来指明所要生成的进程数。-machinefile <machinefile name>-machinefile <machinefile name> ：缺省时使用的：缺省时使用的machinesmachines 文件是前面介绍过的位于文件是前面介绍过的位于 shareshare 目录下的目录下的machines.LINUXmachines.LINUX ；但通过这个参数可以指定一个临时的；但通过这个参数可以指定一个临时的machinesmachines 文件，从而使用不同的进程指派方式。文件，从而使用不同的进程指派方式。一个标准的一个标准的 mpirunmpirun 命令如下：命令如下：［［ node0node0 ］］ # ../bin/mpirun # ../bin/mpirun ––np 10 cpinew np 10 cpinew ––machinefile machinefile ./new_machine_file./new_machine_file


MPICH 的运行［［ node0node0 ］］ # ./mpirun # ./mpirun ––np 10 cpinp 10 cpiProcess 1 on node1Process 1 on node1Process 4 on node4Process 4 on node4Process 3 on node3Process 3 on node3Process 7 on node7Process 7 on node7Process 8 on node8Process 8 on node8Process 9 on node9Process 9 on node9Process 2 on node2Process 2 on node2Process 6 on node6Process 6 on node6Process 5 on node5Process 5 on node5Process 0 on node0Process 0 on node0pi is approximately 3.1416009869231249, Error is pi is approximately 3.1416009869231249, Error is

0.00000833333333180.0000083333333318wall clock time = 0.015806wall clock time = 0.015806




机群系统性能评测基准测试程序（基准测试程序（ BenchmarkBenchmark ））

LINPACKLINPACK 、、 LAPACKLAPACK 、、 BLASBLAS 、、 BLACSBLACS 、、 Livermore Livermore LoopsLoops 、、 DhrystoneDhrystone 、、 WhetstoneWhetstone 、、 NASNAS 、、 SPECSPEC 、、 Sim Sim

LinPACKLinPACK ：： Top500Top500 的标准测试程序的标准测试程序性能分析工具性能分析工具

监视程序的执行、产生性能数据、甚至能够作初步的分析，以监视程序的执行、产生性能数据、甚至能够作初步的分析，以帮助你更为容易的确定性能瓶颈的所在，从而找到改善的方案帮助你更为容易的确定性能瓶颈的所在，从而找到改善的方案

DEEP DEEP 、、 MPEMPE 和和 Jumpshot Jumpshot 、、 PabloPablo 、、 Paradyn Paradyn

首届中国高性能计算机性能TOP50排行榜 LinpackLinpack ：： 56.94 Gflops56.94 Gflops RankRank ：： 22/50 22/50

http://www.samss.org.cn/sites/shuxue/pcC.jsp?contentId=2473512102601




谢谢！谢谢！

Documents

PC 机群的搭建