Düzey: İleri
Graham White (
gwhite@uk.ibm.com ), Sistem Yönetimi Uzmanı, IBM
Mandie Quartly (
mandie_quartly@uk.ibm.com ), BT Uzmanı, IBM
25 Ocak 2007
System x ve IBM TotalStorage® sistemlerini de içeren birçok ayrı
donanım ve yazılım parçasından oluşan bir Linux® kümesi oluşturun. Birkaç bölümden
oluşan dizinin bu ikinci bölümünde, yönetim sunucusunun yapılandırılması ve kümedeki
düğümlerin kurulması anlatılmaktadır.
Giriş
Bu makale, geniş Linux bilgisayar kümelerinin kuruluşunu ve ayarlanmasını
kapsayan yazı dizisinin ikincisidir. Bu yazı dizisinin amacı, birçok ayrı donanım ve
yazılım parçasından çalışan bir Linux kümesi yaratmak için gerekli
süreçle ilgili olarak, kamuya açık etki alanındaki çeşitli kaynaklarda bulunan güncel
bilgileri tek bir yerde toplamaktır. Bu makaleler, yeni bir geniş Linux kümesinin
tam bir tasarımına temel oluşturmak için hazırlanmamıştır; genel mimari göstergeleri
için belirtilen ilgili başvuru malzemelerine ve Redbooks yayınlarına bakın.
Bu dizi, sistem mimarlarının ve mühendislerinin IBM eServer Cluster 1350
çerçevesini kullanarak bir Linux kümesi planlamaları ve uygulamaları için
hazırlanmıştır (çerçeveyle ilgili ek bilgi için bkz.
Kaynaklar). Bazı bölümler, eğitim
amacıyla ve olağan küme işletimi sırasında küme yöneticilerinin kullanımı için de
uygun olabilir.
Bölüm 1'de kümeye ilişkin donanımın kurulması konusunda ayrıntılı yönergeler
sağlanır. Bu ikinci bölümde ise, donanım yapılandırmasından sonraki
adımlar anlatılır: IBM sistem yönetimi yazılımı kullanılarak yazılım
kuruluşu, Küme Sistemleri Yönetimi (CSM) ve düğüm kuruluşu.
Dizinin diğer bölümleri, kümenin depolama arka ucuyla ilgilidir. Makaleler,
depolama donanım yapılandırmasını ve IBM paylaşımlı dosya sistemi olan GPFS'nin
(General Parallel File System; Genel Paralel Dosya Sistemi) kuruluş ve
yapılandırmasını kapsar.
Yönetim sunucusunun
yapılandırılması
Küme kuruluşunun yazılım tarafı iki aşamalı bir işlemdir: Birinci aşamada, bu
makalenin birinci bölümünde açıklanan şekilde küme yönetimi sunucusu kurulur; ikinci aşamada ise,
"Düğümlerin kurulması" konusundan
başlayarak anlatılan şekilde kümenin geri kalanı kurulur. Bu işlemi izlemeniz,
kümenin geri kalanını yapılandırmanıza yardımcı olması ve kuruluş sonrası bakım ve
işletime hazırlık yapılması için yönetim sunucusunu kullanabilmenizi sağlar.
Linux'un kurulması
Yönetim sunucusuna yeni bir işletim sistemi kurun. Yönetim sunucusunun aşağıdaki
özelliklerini belirleyin. Bu örnekte, Red Hat Enterprise Linux (RHEL) 3 ile çalışan
tipik bir IBM yönetim sunucusu olan System x 346 makinesi kullanılmıştır.
Ancak, bu, Suse Linux Enterprise Server (SLES) gibi farklı bir Linux dağıtımıyla
çalışan başka tipteki bir bilgisayar da olabilir.
System x 346 makinesi 64 bit yetenekli olduğundan, kurulan işletim sistemi, ServeRAID
7k kartı kullanan iki diskli bir ikizleme üzerinde yer alan, RHEL 3'ün x86_64 mimarisi
sürümüdür. Yine, sizin ortamınız biraz daha farklı olabilir, ancak CSM yönetim sunucusunun
kuruluşuna ilişkin temeller yaklaşık olarak aynı olmalıdır.
Yerleşik diskleri RAID 1 (ikizleme) için yapılandırmak üzere sunucuyu en son IBM
ServeRAID destek CD'siyle önyükleyin. Burada, sunucuda en az iki diskinizin olduğu
ve işletim sisteminiz için disk hatasına karşı korumaya gereksinim duyduğunuz
varsayılmıştır.
Tek ikiz olarak yapılandırılan disklerle, RHEL işletim sistemini kurmak üzere
sunucuyu birinci RHEL CD'siyle önyükleyin.
Konsolunuza bağlı olarak kuruluşun şeklini değiştirmeniz gerekebilir. Örneğin, düşük
çözünürlüklü konsollar içini önyükleme isteminde linux vga=normal yazarak
CD'yi önyüklemeniz gerekebilir. Linux kuruluş GUI'sini gördükten sonra aşağıdaki
yönergeleri izleyerek olağan bir şekilde kuruluşa devam edin:
- Diliniz, klavye eşlemi, fare tipi ve benzeri seçimleri yapın.
- Disk bölümlerini aşağıdaki şekilde yapılandırın:
- 128Mb
/boot birincil bölüm.
- 2 GB takas (swap) bölümü.
- Kalan alanı da biçimlendirme yapılmamış bir LVM bölümü olarak ayırın.
- Mantıksal birim (LVM) kuruluşunu aşağıdaki şekilde gerçekleştirin:
- Birim grubu sistemini adlandırın.
- Mantıksal birimleri Tablo 1 içinde gösterilen şekilde
ekleyin.
- Ağ arabirimlerini aşağıdaki gibi kurun:
- Önyükleme sırasında eth0 bileşenini, yukarıdaki örnek anasistemler
dosyasına göre, sabit IP adresiyle (
192.168.0.253/24 )
etkinleştirin.
- Anasistem adını
mgmt001.cluster.com olarak ayarlayın.
- Bu aşamada ağ geçidi/DNS gerekli değildir; ancak, dış IP bilginiz varsa, kuruluş
sırasında bunu da yapılandırabilirsiniz.
- Tüm bağlantılara izin vermek amacıyla güvenlik duvarını
no firewall
(güvenlik duvarı yok) değerine ayarlayın. IP tablolarına gereksinim duyarsanız, bunu
daha sonra yapılandırabilirsiniz.
- Yerel ayarlarınızı uygulayın ve uygun saat dilimini seçin.
- Kök parolasını ayarlayın; burada örnek parolamız
cluster sözcüğüdür.
- Paket kuruluşunu aşağıdakileri içerecek şekilde özelleştirin:
- X Window sistemi
- KDE (K masaüstü ortamı)
- Grafik Internet
- Sunucu yapılandırma araçları
- FTP sunucusu
- Ağ sunucuları
- Eski yazılım geliştirmesi
- Yönetim araçları
- Kuruluşu başlatın.
Tablo 1. Mantıksal birim düzeni
Mantıksal birim |
Bağlama noktası |
Boyut |
Kök |
/ |
8192 MB |
Var |
/var |
8192 MB |
Usr |
/usr |
8192 MB |
Opt |
/opt |
4096 MB |
Tmp |
/tmp |
2048 MB |
Csminstall |
/csminstall |
10240 MB |
Kuruluşu tamamladıktan sonra, kuruluş sonrası ayar ekranlarında dolaşmanız gerekir.
Ortamınıza ilişkin yönetim sunucusunda, varsa özel kuruluş sonrası değişikliklerini
gerçekleştirin. Örneğin, X sunucusunu KVM (klavye, video ve fare) ayarlarınızla
rahat bir şekilde çalışacak biçimde yapılandırmanız gerekebilir.
CSM'nin kurulması
Cluster Systems Management (CSM) yazılımının kurulması, desteklenen bir sistemde
genellikle kolay bir işlemdir. IBM Linux Cluster belge kitaplığında HTML ve PDF
biçimlerinde bu konudaki iyi belgeler bulunur (bkz.
Kaynaklar).
Birinci adım, yazılımı yönetim sunucusuna kopyalamaktır.
Kuruluşu kök kullanıcı olarak gerçekleştirmeniz gerektiği için tüm bunları kök ana
dizininde saklayabilirsiniz. Tablo 2 içinde uygun dizin yapısı gösterilmektedir.
Tablo 2. CSM yazılımı
Dizin |
Açıklama |
/root/manuals/csm/ |
CSM belgelerinin PDF'leri |
/root/manuals/gpfs/ |
GPFS belgelerinin PDF'leri |
/root/manuals/rsct/ |
RSCT belgelerinin PDF'leri |
/root/csm/ |
CSM yazılımı (CSM tar paketinin içeriği) |
/root/csm/downloads/ |
CSM'ye ilişkin açık kaynak RPMS yüklemeleriniz (autorpm gibi) |
CSM'yi kurmak için csm.core i386 RPM paketini kurun. Bu paket, x86_64 mimarisi
için de kullanılabilir. Paketi kurduktan sonra, CSM yönetim sunucusunu kurmak için
gerekli komuta sahip olursunuz. İlk olarak, yeni yol ayarını almak için geçerli kabuğunuza
/etc/profile.d/Csm.sh dosyasını yerleştirin. Daha sonra,
installms komutunu çalıştırın ve CSM lisansını sisteme uygulayın.
Girmeniz gereken komutlar şunlardır:
rpm -ivh /root/csm/csm.core*.i386.rpm
. /etc/profile.d/Csm.sh
installms -p /root/csm/downloads:/root/csm
csmconfig -L
|
Not: Bir CSM lisans dosyanız yoksa, aynı csmconfig -L komutunu
lisans dosyası olmadan, 60 günlük CSM deneme ve satın alma lisansını kabul ederek
çalıştırabilirsiniz. 60 günlük dönem sona erdikten sonra CSM işlevini kullanmaya
devam etmek için tam CSM lisansı uygulamanız gerekir.
Geniş küme kullanımı için sistemi en iyi duruma
getirme
CSM, ölçeklenebilecek şekilde tasarlanmıştır. Çoğu standart durumda Red Hat Linux
da çok iyi çalışır. Ancak, geniş bir küme ortamının daha düzgün çalışmasını sağlamak
için yönetim sunucusunda bazı düzeltmeler yapabilirsiniz. Aşağıda sistemi en iyi
duruma getirmeye yönelik bazı örnekler verilmiştir:
- DHCP isteklerinin belirli bir arabirimde dinleyin.
/etc/sysconfig/dhcpd DHCPD yapılandırma dosyasını, DHCPDARGS uygun
arabirime ayarlanacak şekilde düzenleyin. Değişken DHCPDARGS, Red Hat Linux içinde
/etc/init.d/dhcpd DHCPD başlatma komut dosyasında, DHCP yardımcı
programını belirtilen bağımsız değişkenlerle başlatmak için kullanılır. Birden çok
bağımsız değişkenin eth0 kümesinde dinleme yapmaları için tümünün
tırnak içine yerleştirildiğinden emin olun:
- ARP tablo büyüklüğünü ve zamanaşımı değerlerini artırın.
- Kümenin büyük bir kısmı ya da tamamı aynı alt ağda olan tek bir büyük ağınız
varsa, ARP tablosu aşırı yüklenebilir ve CSM ve ağ isteklerinin yavaş olduğu
izlenimini verebilir. Böyle bir durumu önlemek için çalışan sistemde aşağıdaki
değişiklikleri yapın ve değişiklikleri kalıcı kılmak için bunları,
/etc/sysctl.conf dosyasına giriş olarak ekleyin.
net.ipv4.conf.all.arp_filter = 1
net.ipv4.conf.all.rp_filter = 1
net.ipv4.neigh.default.gc_thresh1 = 512
net.ipv4.neigh.default.gc_thresh2 = 2048
net.ipv4.neigh.default.gc_thresh3 = 4096
net.ipv4.neigh.default.gc_stale_time = 240
|
- NFS yardımcı programlarının sayısının artırın.
- Varsayılan değer olarak, standart CSM çıkış değeri 16'ya ayarlanmıştır. Diğer
bir deyişle, kümede çalıştırılan komutlar, düğüm kuruluşu da dahil olmak üzere bir
defada 16 düğümde çalıştırılır. NFS için standart Red Hat Linux ayarı sekiz yardımcı
program çalıştırır. Varsayılan CSM çıkış değeriyle eşleşmesi için NFSD iş
parçacıklarının sayısını 16'ya yükselterek NFS ölçeğini daha iyi duruma
getirebilirsiniz. Ancak, çıkış değerini artırırsanız, NFS iş parçacıklarının
sayısını artırmak da isteyebilirsiniz. Genellikle, 32 NFS iş parçacığının olduğu 32
olan bir çıkış değeri iyi bir hız ve güvenilirlik sağlamak açısından yeterlidir ve
32 düğümden oluşan tek bir rafın eşzamanlı olarak kurulmasına da olanak verir. Bunu
yapmak için
/etc/sysconfig/nfs yapılandırma dosyasını oluşturun ve
aşağıdaki satırı ekleyin:
- Bir NTP sunucusu kurun.
- Varsayılan Red Hat Linux yapılandırması NTP sunucusuyla da çalışmalıdır. Küme
ağınızdaki düğümlerin kendi saatleriyle yönetim sunucusu saatini eşzamanlamasını
sağlamak için
/etc/ntp.conf NTP yapılandırma dosyasına burada
gösterilen şekilde bir yapılandırma satırı ekleyin:
restrict 192.168.0.253 mask 255.255.255.0 notrust nomodify notrap
|
Yönetim sunucunuz bir dış zaman sunucusuna ulaşabilirse, bu satırı yönetim
sunucusunun saatini bu zaman sunucusununkine eşzamanlamak için aşağıdaki satırı
ekleyin:
Aşağıdaki yönergeyi kullanarak NTP sunucusunun çalıştığından ve önyükleme saatinde
otomatik olarak başlatıldığından emin olun:
chkconfig ntpd on
service ntpd start
|
Düğümlerin kurulması
CSM yönetim sunucusu tüm ayarlarıyla birlikte kurulmuş ve yapılandırma adımları
tamamlanmıştır. Ancak, düğümleri kurmaya başlamadan önce, düğümlerin nasıl
kurulacaklarını tanımlamak için CSM yönetim sunucusundaki ek yapılandırmayı
tamamlamanız gerekir. Bu bölümdeki kuruluş adımlarını CSM yönetim sunucusunda
gerçekleştirin.
Düğümlerin tanımlanması
Düğümleri, düğüm tanımlama (definenode) elkitabı sayfasında açıklanan herhangi
bir yöntemle tanımlayabilirsiniz. Ancak, çok sayıda düğümü tanımlamak için kolay bir
yöntem olan düğüm tanımı dosyasını kullanabilirsiniz. Bu yöntemle, bir yazılım
paketi bölümü dosyası oluşturup, bu dosyayı listelenen tüm düğümleri tanımlamak için
CSM'ye bir bağımsız değişken olarak geçirebilirsiniz. Yazılım paketi bölümü
dosyasının oluşturulması için yazılacak kod kolaydır.
Liste 1'de kısa bir örnek düğüm tanımı dosyası gösterilmektedir. Farklı düğümler
için benzer özellikleriniz varsa, bunları bir varsayılan yazılım paketi bölümünde
dosyasının üst kısmında tanımlayabilirsiniz. Bundan sonra, her bir yazılım paketi
bölümünün bir düğüm adını göstermesi ve altında düğüme özel özniteliklerin
listesinin bulunması gerekir. Örnekte, örnek kümedeki üç makinenin nasıl
tanımlanacağı gösterilmektedir -- iki bilgi işlem düğümü ve bir depolama sunucusu.
Liste 1. Örnek düğüm tanımı dosyası
default:
ConsoleMethod = mrv
ConsoleSerialDevice = ttyS0
ConsoleSerialSpeed = 9600
InstallAdapterName = eth0
InstallCSMVersion = 1.4.1
InstallMethod = kickstart
InstallOSName = Linux
InstallPkgArchitecture = x86_64
ManagementServer = mgmt001.cluster.com
PowerMethod = bmc
node001.cluster.com:
ConsolePortNum = 1
ConsoleServerName = term002
HWControlNodeId = node001
HWControlPoint = node001_d.cluster.com
InstallDistributionName = RedHatEL-WS
InstallDistributionVersion = 4
InstallServiceLevel = QU1
node002.cluster.com:
ConsolePortNum = 2
ConsoleServerName = term002
HWControlNodeId = node002
HWControlPoint = node002_d.cluster.com
InstallDistributionName = RedHatEL-WS
InstallDistributionVersion = 4
InstallServiceLevel = QU1
stor001.cluster.com:
ConsolePortNum = 2
ConsoleServerName = term001
HWControlNodeId = stor001
HWControlPoint = stor001_d.cluster.com
InstallDistributionName = RedHatEL-AS
InstallDistributionVersion = 3
InstallServiceLevel = QU5
|
Komut dosyanızla oluşturduğunuz düğüm tanımı dosyası, büyük ölçekli kümelerde
bundan çok daha uzun olacaktır. Ancak, CSM'ye geçirildiğinde bu komut düğümleri
hızla oluşturur:
node-def-filename parametresinin, az önce açıklanan düğüm tanımı
dosyasının saklandığı dosyanın adıyla eşleşecek şekilde değiştirilmesi gerektiğini
unutmayın (örneğin, definenode -f //tmp/my_nodes.def ).
CSM düğüm veritabanının şimdi, tüm düğümlerinizin bir listesini içermesi gerekir.
Küçük örnek küme için bu, 16 bilgi işlem düğümünden, bir kullanıcı düğümünden, bir
zamanlayıcı düğümünden ve bir depolama sunucusundan oluşur.
CSM yönetim sunucusu, CSM veritabanında görünmez. lsnodes komutuyla düğümlerin bir
listesini görebilirsiniz. CSM düğüm tanımlarınızı yedeklemek için de
kullanabileceğiniz daha ayrıntılı bir listeyi görmek için lsnode -F
komutunu kullanabilirsiniz. Çıkışı bu komuttan bir dosyaya yeniden yöneltebilir ve
düğümleri, definenode -f komutunu yeniden kullanarak yeniden
tanımlayabilirsiniz.
Düğüm gruplarının
tanımlanması
CSM, bazı isteğe bağlı koşulların kullanılarak düğümlerin birlikte gruplanmasını;
böylece, daha sonra belirli bir düğüm grubunda diğer CSM komutlarını kullanmanızı
sağlar. Bu, özellikle benzer özniteliklere sahip belirli düğüm tiplerine başvuruda
bulunurken yararlı olabilir.
CSM, dinamik ve statik düğüm gruplarının kullanılmasına izin verir.
Statik düğüm grupları, yöneticinin el ile sağladığı bir düğüm adları küme listesini
içerir. Örneğin, statik düğüm gruplarını kullanırken, yeni tanımlanan düğümleri
ilgili düğüm gruplarına el ile eklemeniz gerekir. Geniş bir kümede dinamik düğüm
gruplarının kullanılması daha yararlıdır ve dikkatli bir kuruluş sırasında bu konu
üzerinde biraz düşünmeniz önemli miktarda zaman tasarrufu sağlayabilir ve komut
satırına yazılacak komutların sayısını en alt düzeye indirebilir.
Dinamik düğüm grupları bir düğüm listesini tanımlar. Listenin üyeleri, bir düğümün
tanımlı koşulu karşılaması durumunda yeni tanımlanan düğümleri içeren düğüm grubuna
otomatik olarak yerleştirilmesi gibi bir koşula göre tanımlanır. Tablo 3 içinde
dinamik düğüm grubu tanımlarına ilişkin birkaç örnek verilmektedir.
Tablo 3: Dinamik düğüm grupları
Tanım komutu |
Açıklamalar |
Nodegrp -w "Hostname like 'node%'"
ComputeNodes |
Bir ComputeNodes düğüm grubu oluşturur |
Nodegrp -w "Hostname like 'schd%'"
SchedulerNodes |
Bir SchedulerNodes düğüm grubu oluşturur |
Nodegrp -w "Hostname like 'stor%'"
StorageNodes |
Bir StorageNodes düğüm grubu oluşturur |
Nodegrp -w "Hostname like 'user%'"
UserNodes |
Bir UserNodes düğüm grubu oluşturur |
Nodegrp -w "Hostname like 'node%'
&& ConsoleServerName=='term002'" Rack02 nodegrp -w
"Hostname like 'node%' && ConsoleServerName=='term003'"
Rack03 nodegrp -w "Hostname like 'node%' &&
ConsoleServerName=='term...'" Rack... |
Her bir raf için Hostname ve ConsoleServerName
tanımlarına dayalı düğüm grupları oluşturur. Her bir raf autorpm değeri
için bir konsol sunucusu olduğu varsayılır) |
Linux dağıtımlarının
hazırlanması
CSM yönetim sunucusunun, kümeye kuracağınız tüm Linux dağıtımlarının CD
içeriklerini içermesi gerekir. Ayrıca, kuruluşlardan önce yapmanız gereken istemci
makineleri üzerinde CSM kuruluşu için de hazırlanmalıdır. CSM, yardım için
kuracağınız her bir Linux dağıtımı için çalıştırılması gereken iki komut sağlar.
/csminstall/Linux ağacını gerekli CSM verileriyle hazırlamak için
copycsmpkgs komutunu çalıştırın. Örneğin:
copycsmpkgs -p /path/to/csm:/path/to/downloads InstallDistributionName=RedHatEL-WS
InstallDistributionVersion=4 InstallServiceLevel=QU1
copycsmpkgs -p /path/to/csm:/path/to/downloads InstallDistributionName=RedHatEL-AS
InstallDistributionVersion=3 InstallServiceLevel=QU5
|
/csminstall/Linux ağacını gerekli Linux dağıtım CD'leriyle
hazırlamak için copycds komutunu çalıştırın. Örneğin:
copycds InstallDistributionName=RedHatEL-WS InstallDistributionVersion=4
InstallServiceLevel=QU1
copycds InstallDistributionName=RedHatEL-AS InstallDistributionVersion=3
InstallServiceLevel=QU5
|
CD'lere ilişkin dizin yapısını ayarladıktan sonra, sistem kuruluşu sırasında
kurulacak ya da büyütülecek özelleştirilmiş paketleri aşağıdaki şekilde eklemeniz
gerekir:
- Kurulduklarından emin olmak için
/csminstall/Linux/.../x86_64/install dizinine kopyalayın.
- Yalnızca önceden var olan bir sürüm kurulacaksa
/csminstall/Linux/.../x86_64/updates dizinine kopyalayın.
Gerektiğinde, yalnızca belirli bir düğüm grubuna ilişkin RPMS'yi kurmak ya da
güncellemek için düğüm grubu adıyla alt dizinler oluşturabilirsiniz.
CFM'nin ayarlanması
CSM, dosyaları küme üzerinden dağıtırken kullanabileceğiniz Yapılandırma Dosyası
Yöneticisi (CFM) adlı bir mekanizma sağlar. CFM'yi küme üzerinden benzer dosyalar
göndermek için kullanabilirsiniz. Düğüm kuruluşundan önce bu olanağı ayarlarsanız,
dosyalar kuruluş işlemi sırasında dağıtılır.
CFM, yönetim sunucusunun diğer dizinlerindeki dosyalara bağlantılar içerebilir.
Bağlantılar, düğümlere gönderildiklerinde kopyalanmak yerine izlenirler. Bu,
özellikle burada gösterildiği gibi anasistem dosyasına benzer dosyalar için yararlı
olur:
mkdir /cfmroot/etc
ln -s /etc/hosts /cfmroot/etc/hosts
|
Dosyalara bağlantı oluşturmak yerine dosyaları CFM'ye kopyalayabilirsiniz.
Örneğin:
- Varsayılan NTP yapılandırma dosyasını
/cfmroot/ntp.conf içine
kopyalayın
- Aşağıdaki satırı kullanarak yönetim sunucunuza ilişkin bir sunucu satırı ekleyin:
/cfmroot/etc/ntp
echo "yönetim.sunucusu.tam.adı" gt; /cfmroot/etc/ntp/step-tickers
|
Dosya, kümeye dağıtılır.
Birkaç dosyayı kümenin belirli konumlarına aktarmanız gerektiğinde CFM'yi
kullanın. Ancak, geniş bir kümede çok sayıda dosyayla çalışmak için CFM'yi aşırı
yüklemek genellikle iyi bir fikir değildir. Örneğin, bir tar arşivindeki fazladan
yazılımları kurmak için CFM'yi kullanmayın. Bu şekilde geniş bir kümede
kullanıldığında, CFM'nin çalışması oldukça uzun sürer ve kullanımı zorlaşır.
Yazılımlar için desteklenen kuruluş mekanizmalarını kullanmaya çalışın. Örneğin,
yazılımları kurmak için tar dosyalarının yerine RPM'leri kullanın ve CFM'ye yalnızca
yapılandırma dosyalarını kopyalayın (dosyalar zamanla değişebilir).
Düğüm yapısının özelleştirilmesi
CSM, her bir düğüme kurmayı planladığınız işletim sistemine ilişkin standart ağ
kuruluş mekanizması ile bir arabirim oluşturur. Örneğin bu, AIX® üzerinde
NIM , Suse Linux üzerinde autoYaST ve Red Hat Linux
üzerinde kickstart olabilir. Red Hat, burada da kickstart
ve kickstart yapılandırma dosyası olan bir düğümü kurmaya ilişkin
örnek olarak kullanılmıştır.
kickstart kuruluşuna başlamadan önce tüm düğümler üzerinde
rpower denetiminizin olduğundan emin olun. Bu denetim, CSM'nin sonraki
CSM sürümlerinde bulunan her bir bilgisayar için UUID almasına yardımcı olur. UUID
yoksa ya da CSM 1.4.1.3 sürümünden eskiyse, CSM, MAC adresini düğümlerin birinci
Ethernet aygıtından almayı dener. CSM MAC adresi toplama işleminin çalışması için
uçbirim sunucusu yapılandırmasının, düğümlerin BIOS'undaki ayarlarla eşleşmesi
gerekir. rconsole komutunu kullanarak uçbirim sunucusu bağlantısını
denetleyin. rpower denetimi ve (uygunsa) bir uçbirim sunucusu
bağlantısı sağladığınızdan emin olduğunuzda, kickstart yapılandırmasına
devam edin.
CSM, /opt/csm/install/kscfg.tmpl.* dosyasında varsayılan kickstart
şablonlarını sağlar. Bu şablonları farklı bir dosya adıyla kopyalayabilir ve
bunları, gerektiği şekilde ortamınıza daha iyi uymaları için özelleştirebilirsiniz.
Şablonlar, iyi bir başlangıç noktasıdır ve genellikle diğer standart
kickstart dosyalarının yerine bir şablon dosyasını özelleştirmeniz
gerekir. Bunun nedeni, şablonların, bir kuruluş sonrası komut dosyasının
çalıştırılması gibi çeşitli CSM işlevlerine ilişkin makroları içermesidir. CSM,
kullanılacak her bir düğüme ilişkin son kickstart dosyasını oluşturmadan önce
kickstart şablon dosyanızı çözümleyerek kickstart işlemine katkıda bulunur. Son
dosya, ayrıştırılan tüm makroları ve şablonda tanımlanan her şeye ilişkin tam komut
dosyalarını içerir.
Genel olarak şablonu aşağıdaki şekillerde değiştirmek isteyebilirsiniz:
- Disk bölümlemesini değiştirmek, LVM'yi içerecek şekilde değiştirebilirsiniz
- Varsayılan parolayı değiştirmek
- Kurulacak paket listesini düzenlemek
kickstart şablonunu düzenledikten sonra, kickstart
dosyasını oluşturmak ve ilk UUID ya da MAC adresi toplama işlemini aşağıdaki şekilde
gerçekleştirmek için CSM setup komutunu çalıştırın:
csmsetupks -n node001 -k /opt/csm/install/your.kickstart.file -x
|
Not: copycds komutu daha önce çalıştırıldığı için -x
anahtarını kullanın.
Sürücülerin
güncellenmesi
Kümeye işletim sisteminin doğrudan desteklemediği bir donanımı kuracaksanız,
kullanabileceğiniz başka sürücüler olabilir. Bu yordam, gerektiğinde sürücü
büyütmeleri için de kullanılabilir. CSM, son kuruluş ve işletim sisteminin kuruluşu
sırasında kullanılan RAM diski için ek ya da yedek sürücüleri otomatik olarak
içerebilir.
System x donanım örneğini kullanırken, Broadcom ağ sürücüsünün sağladığı yerleşik
Broadcom Ethernet bağdaştırıcılarının performansını ve dengesini artırmak
isteyebilirsiniz. Bunu yapmak için Red Hat Linux'un sağladığı standart
tg3 ağ sürücüsü yerine Broadcom bcm5700 sürücüsünü nasıl
kullanacağınızı gösteren aşağıdaki adımları izleyin:
- Bir çekirdek modülü oluşturduğunuz için, hedef sisteminize ilişkin kurulu
çekirdek kaynağının çekirdek düzeyinin ve tipin (UP ya da SMP) eşleştiğinden emin
olun.
- Broadcom'dan en son bcm57xx sürücüsünü yükleyin (bkz. Kaynaklar) ve sürücü kaynak kodunu paketinden çıkarın.
- Çalışan çekirdeğe göre sürücü oluşturmak için paketinden çıkardığınız bcm
sürücüsünün src dizininde
make komutunu çalıştırın.
- Oluşturulan sürücüyü (2.6 çekirdeği için bcm5700.ko ya da 2.4 çekirdekleri için
bcm5700.o) yönetim sunucusundaki
/csminstall/csm/drivers/lt;kernel
versiongt;/x86_64 dizinine kopyalayın.
- Diğer çekirdek sürümleri için sürücü oluşturmak isterseniz, geçerli yapıyı
silmek için
make clean ve daha sonra make
LINUX=/path/to/your/kernel/source komutlarını çalıştırabilirsiniz.
CSM, RAM diski görüntülerini oluştururken /csminstall/csm/drivers/lt;kernel
versiongt;/lt;architecturegt; altındaki dizin yapısında bulunan sürücüleri
kullanır.
Bu görüntüler, çekirdek sürümü RAM diski çekirdek sürümüyle eşleşiyorsa, kuruluş
sırasında sistemi önyüklemek için kullanılır. Bazı çekirdek sürümü numaraları,
kuruluş çekirdeğinden farklı olduğu için kuruluş görüntülerine ilişkin sürücüleri
oluştururken dikkatli olun. Örneğin, Red Hat genellikle BOOT sözcüğünü
sürüm dizesinin sonuna ekler. Çekirdek sürümü, kurulu sistemin çalışan çekirdeğiyle
eşleşirse, sürücü, çalışan işletim sistemi tarafından da kullanılabilir. Çekirdek
sürümlerinden emin değilseniz, aşağıdaki bölümde anlatılan şekilde RAM diski
görüntülerinde inceleme yapın.
RAM diskinin değiştirilmesi
Bu adım, genellikle önerilmez. Ancak, çekirdek sürümlerinden emin olmamanız gibi
bazı durumlarda yapılması gereklidir. Yeni sürücüleri oluştururken ve diğer
durumlarda RAM diski görüntülerini incelerken aşağıdaki komut listesi de yararlı
olabilir.
Depolama birimi, kuruluş hedefiyle anasistem veriyolu bağdaştırıcısını (HBA)
kullanan bir Red Hat Linux'a doğrudan bağlandığında, depolama sürücüsünün
(qlogic qla2300 sürücüleri gibi) ServeRAID sürücülerinden (işletim
sistemi olan iç sistem diski için kullanılan) önce yüklenmesi gerekebilir. Böyle bir
durumda, kuruluş yanlış diskte gerçekleştirilir.
/dev/sda , yerel disk yerine bağlı depolama birimindeki bir LUN'yi
gösterir. Bu durumda, yeni bir işletim sistemi kurarken yerel diskiniz yerine
SAN'nizdeki verilerin üzerine yazma konusunda dikkatli olun. Bunu önlemek için,
qlogic sürücülerini, CSM'nin kuruluşa ilişkin önyükleme görüntüsünü
oluşturmak için kullandığı varsayılan Red Hat RAM diski görüntüsünden kaldırın.
Sistem çalışırken sürücülere gereksinim duyacağınızdan çalışan işletim sistemine
ilişkin sürücüleri kurmak için kuruluş sonrası komut dosyası gibi başka
bir mekanizma kullanın. Varsayılan Red Hat qlogic sürücüleri genellikle
arıza durumunda yedek sisteme geçiş (failover) sürücüleri olmadıklarından, başka bir
mekanizma kullanmanız önerilir.
Örneğin, qla2300 sürücülerini, Red Hat Enterprise Linux Advanced
Server Version 3 ürününe ilişkin varsayılan RAM diski görüntüsünden kaldırın. Tablo
4'te bunu yapmak için komutlar gösterilmektedir.
Tablo 4: RAM diski komutları
Komut |
Amaç |
cd
/csminstall/Linux/RedHatEL-AS/3/x86_64/RedHatEL-AS3-QU5/images/pxeboot |
Değiştirmeniz gereken RAM disk görüntüsünün bulunduğu dizine geçer. |
cp initrd.img initrd.img.orig |
Özgün görüntüyü yedekler. |
mkdir mnt |
Bir bağlama noktası oluşturur. |
gunzip -S .img initrd.img |
Görüntüyü paketinden çıkarır. |
mount -o loop initrd.img /mnt |
Görüntüyü bağlama noktasına bağlar. |
manual step |
mnt/modules/* içindeki tüm qla[23]00 başvurularını el
ile kaldırır. |
cp mnt/modules/modules.cgz |
Modül arşivini görüntüden geçerli dizine kopyalar. |
gunzip -c modules.cgz | cpio
-ivd |
Modül arşivini paketinden çıkarır. |
rm modules.cgz |
Modül arşivini siler. |
rm 2.4.21-32.EL/ia32e/qla2* |
Paketinden çıkarılan modül arşivinden qlogic modüllerini siler. |
find 2.4.21-32.EL -type f | cpio -o -H crc | gzip -c -9 > modules.cgz |
Modül arşivini qlogic modülleri kaldırılmış bir şekilde paketler. |
rm -rf 2.4.21-32.EL |
Paketten çıkarılan modül arşivini siler. |
mv -f modules.cgz mnt/modules |
Eski modül arşivini yenisiyle değiştirir. |
umount mnt |
RAM diski görüntüsünü çözer. |
rmdir mnt |
Bağlama noktasını kaldırır. |
gzip -S .img initrd |
RAM diski görüntüsünü yeniden paketler. |
Not: Suse ya da SLES'ye ilişkin RAM diskini değiştirmek için ips
sürücüsünün (ServeRAID sürücüsü) INITRD_MODULES yazılım paketi
bölümünün altındaki /etc/sysconfig/kernel dosyasında bulunan HBA
sürücülerinden önce görüntülendiğinden emin olun. RAM diski görüntülerini
oluşturmaya ilişkin Suse ya da SLES mekanizması, sürücülerin sırayla yüklenmesini
sağlar.
Yeni önyükleme öncesi ve
sonrası komut dosyalarının kurulması
Her ortam ve küme birbirinden farklı olduğundan, işletim sistemi kuruluşunu size
özel gereksinimlere göre özelleştirmek için bazı kuruluş sonrası komut dosyalarını
uygulamanız gerekebilir. Bunu, yeni kurulan sistemi yeniden yüklemeden önce ya da
yeniden yükledikten sonra gerçekleştirebilirsiniz. Bu işlem, özellikle ikincil ağ
bağdaştırıcılarının yapılandırılması açısından yararlı olur ve CSM, bu amaçla bir
örnek komut dosyası sağlar. İkili ağ kuruluşu (her bir düğümde bir bilgi işlem ağı
ve bir depolama ağı) nedeniyle örnek küme için bir ikincil bağdaştırıcı
yapılandırması gereklidir. İkincil bağdaştırıcı yapılandırması için aşağıdaki
adımları izleyin:
- Komut dosyasının kuruluş sırasında çalışmasını sağlamak için CSM'nin sağladığı
varsayılan bağdaştırıcı yapılandırması komut dosyasını
installprereboot
komut dosyası yürütme dizinine aşağıdaki şekilde kopyalayın ve çalışabildiğinden
emin olun:
cp /csminstall/csm/scripts/adaptor_config_Linux /csminstall/csm/scripts/
installprereboot/100_adapter_config._LinuxNodes
chmod 755 /csminstall/csm/scripts/installprereboot/100_adaptor_config._LinuxNodes
|
- Aşağıdaki gibi bir üstbilgi yazarak
/csminstall/csm/scripts/data/Linux_adapter_stanza_file bağdaştırıcı yazılım paketi bölümü dosyasını oluşturun:
default:
machine_type=secondary
network_type=eth
interface_name=eth1
DEVICE=eth1
STARTMODE=onboot
ONBOOT=yes
BROADCAST=192.168.1.255
NETMASK=255.255.255.0
MTU=9000
|
- Bu işlem, tüm ikincil (
eth1 ) bağdaştırıcıları önyükleme sırasında
başlatılacak şekilde yapılandırır ve yayın adresi, ağ maskesi ve MTU büyüklüğüne
ilişkin varsayılan ayarları alır. Düğüm tanımı dosyalarındakine benzer bir
şekilde, ek yazılım bölümü (stanza) satırlarında bilgisayara özel ağ ayrıntılarını
yapılandırabilirsiniz:
for node in $(lsnodes)
do
ip=$(grep $node /etc/hosts | head -n 1 | awk '{print $1}')
echo -e "$node:\n IPADDR=$ip" gt;gt; Linux_adaptor_stanza_file
done
|
- Bu işlem, aşağıdakine benzer bir çıkışı, farklı bir IP adresine sahip
her bir bilgisayarı yapılandırmak için bağdaştırıcının yazılım bölümü (stanza)
dosyasına ekler:
node001.cluster.com:
IPADDR: 192.168.1.1
node002.cluster.com:
IPADDR: 192.168.1.2
node003.cluster.com:
IPADDR: 192.168.1.3
|
Kuruluş
Düğüm kuruluşu sırasında uygulanabilir durumda olan iki ana kabuk ortamı
değişkeni vardır: CSM_FANOUT ve CSM_FANOUT_DELAY . İlk
değişken, yönetim sunucusundan kaç düğümün yeniden yüklendiği gibi, CSM
yönergelerinin kaç düğüme eşzamanlı olarak gönderildiğini denetler. İkinci değişken,
kurulacak sonraki düğüm kümesi yeniden yüklenmeden önce CSM'nin ne kadar
bekleyeceğini (saniye cinsinden) denetler. Bu değişkenler çıkış değeri için 16
düğüme ve sonraki düğüm kümesi yeniden yüklenmeden önce 20 dakika beklemeye
ayarlanmışlardır. Bu varsayılan değerler çoğu kuruluş için kabul edilebilir
değerlerdir, ancak geniş kümeler için artırılabilirler.
Kümeyi klasik bir şekilde kurmak için aşağıdaki adımları tamamlayın:
- Kuruluşu yapılandırın ve bilgi işlem düğümlerini aşağıda gösterildiği gibi
kurun:
csmsetupks -N ComputeNodes -k
/opt/csm/install/your.kickstart.file.nodes -x
installnode -N ComputeNodes
|
- Kuruluşu yapılandırın ve kullanıcı düğümlerini aşağıda gösterildiği gibi kurun:
csmsetupks -N UserNodes -k /opt/csm/install/your.kickstart.file.user -x
installnode -N UserNodes
|
- Kuruluşu yapılandırın ve zamanlayıcı düğümlerini aşağıda gösterildiği gibi kurun:
csmsetupks -N SchedulerNodes -k
/opt/csm/install/your.kickstart.file.schd -x
installnode -N SchedulerNodes
|
- Kuruluşu yapılandırın ve depolama düğümlerini aşağıda gösterildiği gibi kurun:
csmsetupks -N StorageNodes -k
/opt/csm/install/your.kickstart.file.stor -x
installnode -N StorageNodes
|
Geniş küme kuruluşlarında, kuruluş işlemini aşamalandırmak ve paralelleştirmek
için kuruluş sunucularını kullanın:
- CSM içindeki
InstallServer özniteliğini ayarlayın. Kuruluş
sunucusundan kurmak istediğiniz her bir düğüm için InstallServer
özniteliğini, düğüm için kullanacağınız kuruluş sunucusunun anasistem adına
ayarlayın. Bu öznitelik kümesi olmayan düğümler varsayılan değer olarak merkezi
yönetim sunucusundan kuruluşa ayarlanır. Örneğin, raf başına 32 düğümün olduğu geniş
bir küme ortamında, kümeye ilişkin kuruluş sunucusu olarak her bir rafın en alttaki
düğümünü seçebilirsiniz. Bu durumda, 1 numaralı raftaki node002 ile
node032 arasındaki düğümleri node001 düğümünden;
node001 düğümünü ise yönetim sunucusundan kurulmak üzere yapılandırmak
için aşağıdaki komutu kullanın:
chnode -n node002-node032 InstallServer=node001
|
- Tüm kuruluş sunucularını içeren bir dinamik düğüm grubu ve istemcileri içeren
başka bir dinamik düğüm grubu oluşturun:
nodegrp -w "InstallServer like '_%'" InstallServers
nodegrp -w "InstallServer not like '_%'" InstallClients
|
- Kuruluşu yapılandırın ve kuruluş sunucularını kurun:
csmsetupks -N InstallServers -x
installnode -N InstallServers
|
- Kuruluş sunucularını kullanmanın sağladığı artan bant genişliğinden yararlanmak
üzere daha çok düğümü eşzamanlı olarak yeniden yüklemek için CSM çıkış değerini
artırın. Raf başına 32 düğümün olduğu örnekte, CSM çıkışına ilişkin en verimli
değer, 32 ile kuruluş sunucusu sayısının (ya da her bir rafta bir düğüm varsa raf
sayısının) çarpımının sonucudur. Örnekte, NFS'yi her bir rafta biraz daha iyi
ölçeklendirmek için her bir kuruluş sunucusundaki NFS iş parçacıklarının sayısını
32'ye de yükseltebilirsiniz. Bu yöntemi kullanarak, yüzlerce ya da binlerce makineyi
eşzamanlı olarak kurabilirsiniz.
- Kuruluşu yapılandırın ve kuruluş istemcilerini aşağıdaki şekilde kurun:
csmsetupks -N InstallClients -x
installnode -N InstallClients
|
Sonuç
Bu yazı dizisinin ilk iki bölümünde ayrıntılarıyla anlatılan tüm adımları
tamamladığınızda, kümenizin, sistem yönetimi yazılımının ayarlanmasını ve düğüm
kuruluşunun tamamlanmasını da içeren donanım ve yazılım ayarlarını tamamlamış
olursunuz. Yazı dizisinin son bölümleri sizi depolama arka ucunun
ayarlanmasıyla, özellikle depolama donanımı yapılandırmasının gerçekleştirilmesi ve
IBM paylaşımlı dosya sistemi olan GPFS'nin (Genel Paralel Dosya Sistemi) kurulup
yapılandırılmasıyla ilgili konularda yönlendirecektir.
Kaynaklar
Bilgi Edinme
Ürün ve teknoloji edinme
Tartışma
Yazarlar hakkında
|
Graham White, İngiltere'deki IBM Hursley Park ofisinde bulunan Gelişen Teknoloji
Hizmetleri içindeki Linux Bütünleştirme Merkezi'nde çalışan bir sistem yönetimi
uzmanıdır. Graham, Red Hat sertifikasına sahip bir mühendistir ve çok geniş bir
aralıktaki açık kaynak, açık standart ve IBM teknolojileri konusunda uzmandır.
Uzmanlık alanları LAMP, Linux, güvenlik, kümeleme ve tüm IBM Systems donanım
platformlarını içerir. 2000 yılında Exeter Üniversitesi'nin Bilgisayar Bilimi ve
İdari Bilimler bölümlerinden mezun olmuştur.
|
|
Mandie Quartly, IBM İngiltere'nin Küresel Teknoloji Hizmetleri ekibinde görev
yapan bir BT uzmanıdır. Mandie, AIX ve Linux (Red Hat ve Suse) uygulamalarının yanı
sıra Intel ve POWER p platformlarındaki deneyimiyle markalar arası bir görev
gerçekleştirmektedir. Uzmanlık alanı, IBM ürünü GPFS'dir (General Parallel File
System; Genel Paralel Dosya Sistemi).
2001 yılında Leicester Üniversitesi'nden astrofizik dalında doktora derecesi
almıştır.
|
|
|