热门标签 | HotTags
当前位置:  开发笔记 > 前端 > 正文

Centos自建集群搭配细化

第一部分:集群系统配置§1.1:系统安装这里是以CentOS5.5X64为例来构建集群的,系统的安装就不赘述了,记得在安装的时候在自定义软件包时选上gcc,g++,gfortran就好。主节点机器名字取为frontend.cluster安装完后,打开/etc/hosts文件,作如下修改:192.168.1.110frontend.clusterfrontend192.168.1.1no
第一部分:集群系统配置
§1.1:系统安装
这里是以CentOS5.5 X64为例来构建集群的,系统的安装就不赘述了,记得在安装的时候在自定义软件包时选上gcc,g++,gfortran就好。主节点机器名字取为frontend.cluster
安装完后,打开/etc/hosts文件,作如下修改:
192.168.1.110 frontend.cluster frontend
192.168.1.1 node1.cluster    node1
192.168.1.2 node2.cluster    node2
192.168.1.3 node3.cluster    node3
PS:这里按照你自己的实际需求协商所有节点的IP ,完整机器名,机器名简称。这个文件所有的节点都保持一致。
§1.2CloneZilla克隆一个计算节点
这里为了便于后续操作的验证,比如无密码登录,NFS,NIS,torque等,先将前面安装的系统克隆一个。
克隆完成后,修改/etc/hosts文件第一行那个127.0.0.1 后面的机器名字位node1,打开/etc/sysconfig/network,修改机器名,还有一个就是/etc/sysconfig/network-scripts/ifcfg-eth0,将IP修改为node1的192.168.1.1。后面等到所有的配好后,克隆计算机点到所有机器,也作上述修改。
§1.3:无密码访问实现---SSH
CentOS5.5 默认是安装有SSH的,如果实在是没有,就挂载安装光盘作为yum来源,安装就可以,方法如下:
第一步-----------------------------------------------------------
1.1----把 /etc/yum.repos.d 目录下除了 CentOS-Media.repo 外的其他***.repo文件全部 enabled=0
1.2----或者把除了 CentOS-Media.repo 外的其他.repo文件全部移到一个目录下/或改名**.repo.bak
1.3---修改CentOS-Media.repo文件,改为
enabled=1
gpgcheck=0
//**记得baseurl=file:///media/cdrom--最后这个cdrom是你挂在镜像的目录名,做相应修改啊
/*不让yum去查找网络上其他yum源文件,否则priorities 优先去找CentOS-Base.repo下的文件*/
第二步-----------------------------------------------------------
/***********ISO方法*************/
# mount -o loop xxx/***.iso /media/cdrom
/***********光盘方法*************/
# mount -t iso9660 /dev/hdc /media/cdrom
第三步----------------------
# cd /media/cdrom/CentOS                        /*进入光盘的rpm目录*/
#yum clean all
#yum install ssh
# yum localinstall **.rpm --enablerepo=c5-media      /*c5-media是前面的repo文件的标题
有了ssh 后,现在配置无密码登录,以后用 ssh 登陆节点时就不用输入密码了。
在控制节点,以 hpc 身份(不能是 root!)执行:
$ ssh-keygen ?t dsa
$ cd /home/hpc/.ssh
$ cat id_dsa.pub >> authorized_keys
然后在打开/etc/ssh/sshd_config文件,将45行的AuthorizedKeyFile .ssh/authorized_keys的注释取消掉。
然后重启sshd服务: sudo service sshd restart
###务必保证.ssh的权限是700. authorized_keys的权限是644###
§1.3NFS---主机间文件共享
首先是安装NFS的软件,前面配置好了yum,可以直接yum install nfs。
如果前面有问题,可以提取光盘中的nfs-utils软件,安装就好,依赖关系貌似没啥,当然pormap是必须要的。
然后启动portmap服务,sudo service portmap start
然后启动nfs服务,sudo service nfs start
将其加入开机启动服务chkconfig --level 345 nfs on
现在,打开/etc/exportfs 文件,这个文件专门用来配置要共享的文件系统。
现在在此文件里添加如下内容:
/home     192.168.1.0/255.255.255.0(rw,sync,no_root_squash,subtree_check)
/opt       192.168.1.0/255.255.255.0(rw,sync,no_root_squash,subtree_check)
/usr/local   192.168.1.0/255.255.255.0(rw,sync,no_root_squash,subtree_check)
现在重启nfs服务,sudo service nfs restart
有可能需要启动nfslock服务。
可以通过rpcinfo -p localhost 查看相应的服务的端口是否已经启用。
执行exportfs -arv 全部重新挂载一次上面exports文件的内容,
或者用showmount -e localhost 查看共享的目录有哪些
-----------以上开启重启服务,务必保证没有错误,如果有什么错误提示,注意根据提示和log文件解决。----------------------------
现在开始配置计算节点,首先依然是启动portmap服务和nfs服务,也许还有nfslock服务
然后通过showmount -e frontend 查看是否可以正常访问主节点的共享目录。
如果一切正常,可以尝试性挂载其中一个试一试,命令如下:
mount -t nfs frontend:/home /mnt
如果可以正常挂载,就修改所有节点的/ets/fstab文件,在其后加入下面几行:
frontend:/home /home nfs rw,defaults 0 0
frontend:/opt /opt nfs rw,defaults 0 0
frontend:/usr/local /usr/local nfs rw,defaults 0 0
然后重启网络服务:sudo service network restart
§1.4NIS---主机间账户同步
首先是服务器端的设置
1.安装NIS的软件,前面配置好了yum,可以直接yum install ypserv 这个是服务器端的软件,一般yp-tool和ypbind(客户端)已经安装有的。
如果前面有问题,可以提取光盘中的ypserv软件,安装就好,依赖关系貌似没啥,当然pormap是必须要的。
2.设置NIS域名:
直接nisdomainname cluster即可设置
-----如要设置开机启动,将 /bin/nisdomainname domainname写入/etc/rc.d/rc.local中
-----如果需要启动NIS时就自动设置好,
在/etc/sysconfig/network 中写入 NISDOMAIN domainname
3.主要配置文件/etc/ypserv.conf
默认是已经有了的,可以直接将最后一行注释去掉。
或者写入:
   NISDOMAIN cluster server frontend ###记得根据自己的实际情况修改
4.启动相关服务
启动服务,service portmap/ypserver/yppasswd start ,
设置开机启动用chkconfig --level 345 ypserv/yppasswd on ---多个服务记得分开输入
可以输入rpcinfo -u localhost ypserv查看,如果输出如下,表示成功启动;
program 100004 version 1 ready and waiting
program 100004 version 2 ready and waiting
5.建立相关数据库文件
# /usr/lib/yp/ypinit -m   ##如果是64位系统,有可能在lib64目录下。
根据提示在出现本机域名之后的next host to add 后摁下ctrl+d数据库文件
其次是客户端的设置
1.建立并确认 确认域名:同上第二步
2.启动ypbind,并进行设置
打开/etc/default/nis,修改 NISSERVER=false,NISCLIENT=true,这样本机便成为 NIS 客户端;(比较麻烦,通过几个命令自动配置)
Authconfig --enablenis --usemd5 --useshadow --update
可以尝试打开ypbind服务了,service ypbind start,依然要加入开机自动启动
3.NIS的校验
首先用yptest,查看输出,有错误会有提示,如果第三部提示nobody 错误,可以忽略。
其次是ypwhich -x 查看数据库数量及对应关系
最后是ypcat passwd.byname 读取NIS server端的passwd文件,UID大于等于500的
4.删除计算节点的普通用户,从主节点用hpc账户登录测试
#####如要新建用户, 记得重新建立数据库,重启ypserv和yppasswdd服务###
###或者 cd /var/yp;make ###
§1.3:共享资源管理软件 TORQUE 的安装与设置
TORQUE 和 Maui 可以从 http://www.clusterresources.com 上下载。以下仅
是粗略配置,详细配置请参考相关手册:
· TORQUE:http://www.clusterresources.com/torquedocs21/
· Maui:http://www.clusterresources.com/products/maui/docs/mauiusers.shtml
1.服务节点安装 TORQUE
这里假设服务节点的机子名为 frontend,其中一个计算节点的名字为 node1。
  root@frontend# tar zxvf torque-2.4.6.tar.gz
   root@frontend# cd torque-2.4.6
   root@frontend# ./configure --prefix=/opt/torque-2.4.6 -with-scp
上面-with-rcp=rcp 设置为利用 rsh 协议在节点间传输文件,也可设置为 -with-rcp=scp 以利用 scp 协议进行传输。利用 rcp 或者 scp 传输需要配置节点间无须密码访问,具体请参看相关文档。
root@frontend# make
root@frontend# make install的。
2.服务节点初始化并设置 TORQUE
将 TORQUE 的可执行文件所在的目录放入系统的路径中,修改 /etc/profile:
TORQUE=/opt/torque−2.4.6
MAUI=/opt/maui−3.3.1
PATH=$PATH:$TORQUE/bin:$TORQUE/sbin:$MAUI/bin:$MAUI/sbin
LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$TORQUE/lib:$MAUI/lib
如在这里已经设置了,并且 Maui 安装路径为上面的话,后面就无需再设置 Maui 的路径
修改后使设置的环境变量生效:
source /etc/profile
将 root 设置为 TORQUE 的管理帐户:
root@frontend# ./torque setup root
######这里务必切换到root,我尝试普通用户sudo,提示有命令不存在。######



推荐阅读
  • Nginx使用AWStats日志分析的步骤及注意事项
    本文介绍了在Centos7操作系统上使用Nginx和AWStats进行日志分析的步骤和注意事项。通过AWStats可以统计网站的访问量、IP地址、操作系统、浏览器等信息,并提供精确到每月、每日、每小时的数据。在部署AWStats之前需要确认服务器上已经安装了Perl环境,并进行DNS解析。 ... [详细]
  • Linux服务器密码过期策略、登录次数限制、私钥登录等配置方法
    本文介绍了在Linux服务器上进行密码过期策略、登录次数限制、私钥登录等配置的方法。通过修改配置文件中的参数,可以设置密码的有效期、最小间隔时间、最小长度,并在密码过期前进行提示。同时还介绍了如何进行公钥登录和修改默认账户用户名的操作。详细步骤和注意事项可参考本文内容。 ... [详细]
  • Centos7.6安装Gitlab教程及注意事项
    本文介绍了在Centos7.6系统下安装Gitlab的详细教程,并提供了一些注意事项。教程包括查看系统版本、安装必要的软件包、配置防火墙等步骤。同时,还强调了使用阿里云服务器时的特殊配置需求,以及建议至少4GB的可用RAM来运行GitLab。 ... [详细]
  • 如何在服务器主机上实现文件共享的方法和工具
    本文介绍了在服务器主机上实现文件共享的方法和工具,包括Linux主机和Windows主机的文件传输方式,Web运维和FTP/SFTP客户端运维两种方式,以及使用WinSCP工具将文件上传至Linux云服务器的操作方法。此外,还介绍了在迁移过程中需要安装迁移Agent并输入目的端服务器所在华为云的AK/SK,以及主机迁移服务会收集的源端服务器信息。 ... [详细]
  • CentOS 7部署KVM虚拟化环境之一架构介绍
    本文介绍了CentOS 7部署KVM虚拟化环境的架构,详细解释了虚拟化技术的概念和原理,包括全虚拟化和半虚拟化。同时介绍了虚拟机的概念和虚拟化软件的作用。 ... [详细]
  • LVS实现负载均衡的原理LVS负载均衡负载均衡集群是LoadBalance集群。是一种将网络上的访问流量分布于各个节点,以降低服务器压力,更好的向客户端 ... [详细]
  • 本文详细介绍了在Centos7上部署安装zabbix5.0的步骤和注意事项,包括准备工作、获取所需的yum源、关闭防火墙和SELINUX等。提供了一步一步的操作指南,帮助读者顺利完成安装过程。 ... [详细]
  • Hadoop2.6.0 + 云centos +伪分布式只谈部署
    3.0.3玩不好,现将2.6.0tar.gz上传到usr,chmod-Rhadoop:hadophadoop-2.6.0,rm掉3.0.32.在etcp ... [详细]
  • 本文介绍了使用CentOS7.0 U盘刻录工具进行安装的详细步骤,包括使用USBWriter工具刻录ISO文件到USB驱动器、格式化USB磁盘、设置启动顺序等。通过本文的指导,用户可以轻松地使用U盘安装CentOS7.0操作系统。 ... [详细]
  • 禁止程序接收鼠标事件的工具_VNC Viewer for Mac(远程桌面工具)免费版
    VNCViewerforMac是一款运行在Mac平台上的远程桌面工具,vncviewermac版可以帮助您使用Mac的键盘和鼠标来控制远程计算机,操作简 ... [详细]
  • 本文介绍了RPC框架Thrift的安装环境变量配置与第一个实例,讲解了RPC的概念以及如何解决跨语言、c++客户端、web服务端、远程调用等需求。Thrift开发方便上手快,性能和稳定性也不错,适合初学者学习和使用。 ... [详细]
  • switch语句的一些用法及注意事项
    本文介绍了使用switch语句时的一些用法和注意事项,包括如何实现"fall through"、default语句的作用、在case语句中定义变量时可能出现的问题以及解决方法。同时也提到了C#严格控制switch分支不允许贯穿的规定。通过本文的介绍,读者可以更好地理解和使用switch语句。 ... [详细]
  • 成功安装Sabayon Linux在thinkpad X60上的经验分享
    本文分享了作者在国庆期间在thinkpad X60上成功安装Sabayon Linux的经验。通过修改CHOST和执行emerge命令,作者顺利完成了安装过程。Sabayon Linux是一个基于Gentoo Linux的发行版,可以将电脑快速转变为一个功能强大的系统。除了作为一个live DVD使用外,Sabayon Linux还可以被安装在硬盘上,方便用户使用。 ... [详细]
  • 大坑|左上角_pycharm连接服务器同步写代码(图文详细过程)
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了pycharm连接服务器同步写代码(图文详细过程)相关的知识,希望对你有一定的参考价值。pycharm连接服务 ... [详细]
  • hadoop1.2.1文档中这样写:Nowcheckthatyoucansshtothelocalhostwithoutapassphrase:$sshlocalhostIfyou ... [详细]
author-avatar
当官的好办事_625
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有