Guide@Debianizzati.Org

Clustering con PVM: differenze tra le versioni

Pagina Discussione

Clustering con PVM (visualizza wikitesto)

Versione delle 08:47, 17 ott 2011

3 961 byte aggiunti ,  17 ott 2011
guida estesa in tutte le sue parti
Nessun oggetto della modifica
(guida estesa in tutte le sue parti)
Riga 1: Riga 1:
{{stub}}
{{Versioni compatibili}}
__TOC__
__TOC__
== Installazione PVM ==
*Installare pvm e pvm-dev
root@insanelab-cluster:apt-get install pvm
root@insanelab-cluster:apt-get install pvm-dev


*modificare <code>/etc/profile</code> aggiungendo: <br>
== Introduzione ==
PVM (Parallel Virtual Machine) è un software che permette a diversi computer in rete di essere utilizzati come se fossero uno solo, aggregando le risorse di ognuno per ottenere una capacità computazionale maggiore.<br />
È una soluzione molto più economica e modulare che incrementare la dotazione hardware (cpu, ram, etc.) di una singola macchina e permette di risolvere problemi molto complessi a costi molto contenuti.<br />
Utilizzato oggi su larga scala, è considerato lo standard per quanto riguarda il calcolo parallelo.


#variable for PVM
Lo schema di funzionamento è abbastanza semplice: dato un insieme di macchine che si vogliono aggregare in cluster, su ognuna di esse si installerà e configurerà PVM. Ad installazione e configurazione completata, da ciascuna di queste macchine sarà possibile creare una vm cluster aggregando i nodi desiderati.
PVM_ROOT=/usr/lib/pvm3
export PVM_ROOT<br>
PVM_ARCH=`$PVM_ROOT/lib/pvmgetarch`
export PVM_ARCH<br>
PVM_RSH=/usr/bin/ssh
export PVM_RSH<br>
PVM_TMP=/tmp
export PVM_TMP<br>
#Add pvm binary to PATH
PATH=$PVM_ROOT/bin:$PATH
export PATH<br>


*Modificare il file <code>LINUX.def</code> inserendo il modo che usiamo per connetterci (ssh)
In questa guida verrà trattata la realizzazione di un cluster composto da due macchine: ''node0'' e ''node1''


nano /usr/lib/pvm3/conf/LINUX.def
== Installazione e configurazione ==
PVM è presente nel ramo ''main'' dei repository di Debian e può essere installato semplicemente con:
<pre>
# apt-get install pvm pvm-dev
</pre>


#LINUX.def
Per poterlo utilizzare correttamente si dovrà modificare il file ''/etc/profile'' di ogni nodo aggiungendo:
ARCHCFLAGS      =       -DSYSVSIGNAL -DNOWAIT3 -DRSHCOMMAND=\'''"/usr/bin/ssh\"''' \
<pre>
                                -DNEEDENDIAN -DFDSETNOTSTRUCT -DHASERRORVARS \
#variable for PVM
                                -DCTIMEISTIMET -DSYSERRISCONST
PVM_ROOT=/usr/lib/pvm3
export PVM_ROOT
PVM_ARCH=`$PVM_ROOT/lib/pvmgetarch`
export PVM_ARCH
PVM_RSH=/usr/bin/ssh
export PVM_RSH
PVM_TMP=/tmp
export PVM_TMP
#Add pvm binary to PATH
PATH=$PVM_ROOT/bin:$PATH
export PATH
</pre>


== Configurazione sistema ==
Si dovrà anche modificare il file ''/usr/lib/pvm3/conf/LINUX.def'' per specificare il metodo che si desidera utilizzare per connettersi (in questo caso ssh):


*Editare <code>/etc/hosts</code> '''commentando localhost''' e aggiungendo i nodi
<pre>
#LINUX.def
ARCHCFLAGS = -DSYSVSIGNAL -DNOWAIT3 -DRSHCOMMAND=\'''"/usr/bin/ssh\"''' \
                  -DNEEDENDIAN -DFDSETNOTSTRUCT -DHASERRORVARS \
                  -DCTIMEISTIMET -DSYSERRISCONST
</pre>


#/etc/hosts  
I nodi che faranno parte del cluster dovranno essere specificati nel file ''/etc/hosts'' di ogni nodo:
#127.0.0.1     localhost.localdomain  localhost       insanelab-cluster
<pre>
  192.168.100.69 insanelab-cluster
127.0.0.1   localhost
  192.168.100.3  node3
127.0.1.1    debian
  192.168.100.5  node5
  192.168.100.2  node2


*Creare un utente per ogni nodo
192.168.100.1  node0
192.168.100.8  node1
root@nodeX:adduser user
</pre>
''(Si faccia attenzione ad impostare i corretti hostname)''<br />
<br />
Infine, sempre su ogni nodo, si dovrà creare un utente specifico:
<pre>
root@nodeX:~# adduser pvmuser
</pre>


== Evitare la password con ssh ==
{{Suggerimento|È possibile evitare il dover ripetere le configurazioni effettuate su ciascun nodo a patto di disporre di home directories condivise. }}
*Bisogna generare una chiave nel server (insanelab-cluster)


user@insanelab-cluster: ssh-keygen -t rsa
== Connessione SSH senza password ==
Openssh-server dovrà essere installato su tutti i nodi interessati.<br />
Affinchè i nodi riescano a comunicare senza che sia necessario ogni volta inserire la password di login al momento della connessione ssh si dovrà generare una chiave nel server (si abbia cura di non inserire alcuna password...):
<pre>
pvmuser@node0:~$ ssh-keygen -t rsa
</pre>


*entrare nella directory <code>/home/user/.ssh/</code>
e trasferirla sui nodi:
<pre>
pvmuser@node0:~$ ssh-copy-id pvmuser@192.168.100.8
</pre>


user@insanelab-cluster: cd /home/user/.ssh
== Identificazione dei nodi ==
Gli hostname degli host "partecipanti" al cluster dovranno essere inseriti nel file ''.rhosts'' presente nella home di pvmuser (creare il file se non esiste):
<pre>
pvmuser@node0:~$ cat /home/pvmuser/.rhosts
node1 pvmuser
node0 pvmuser
</pre>
Questa operazione dovrà essere fatta su ciascun nodo del cluster.


*copiare <code>id_rsa.key</code> in tutti i nodi
== Avvio di PVM ==
PVM è pronto per essere lanciato da uno qualsiasi dei nodi:
<pre>
pvmuser@node0:~$ pvm


user@insanelab-cluster: scp id_rsa user@nodeX://home/user/.ssh
pvm> conf
conf
1 host, 1 data format
                    HOST    DTID    ARCH  SPEED      DSIG
                  node0    40000    LINUX    1000 0x00408841
pvm> add node1
add node1
1 successful
                    HOST    DTID
                  node1    80000
pvm> conf
conf
2 hosts, 1 data format
                    HOST    DTID    ARCH  SPEED      DSIG
                  node0    40000    LINUX    1000 0x00408841
                  node1    80000    LINUX    1000 0x00408841
pvm> quit
quit


Console: exit handler called
pvmd still running.
</pre>


*Loggarsi nei nodi
Come si può notare tutte le operazioni sono state effettuate dentro la console di pvm.<br />
Nello specifico:


ssh user@nodeX
* '''conf''': mostra la configurazione attuale
* '''add <hostname>''': aggiunge l'host all'elenco di pvm
* '''delete <hostname>''': rimuove l'host dall'elenco
* '''quit''': esce dalla console (pvm continua ad agire in background)
* '''halt''': per interrompere pvm


*Entrare nella directory <code>.ssh</code> e copiare la chiave in authorizedkey2
Se si vuole evitare di dover ogni volta inserire gli hostname delle macchine appartenenti al cluster è possibile richiamare un file appositamente creato che contenga l'elenco degli host desiderati:
<pre>
root@node0:~# cat /etc/pvm.nodes
node0
node1
</pre>


cd .ssh
Detto file dovrà essere richiamato in questo modo:
cat id_rsa.key >> authorizedkey2
<pre>
rm id_rsa.key
pvmuser@node0:~$ pvm /etc/pvm.nodes
</pre>
 
== Test di esempio ==
Nei repository sono presenti dei test di esempio che possono essere avviati dalla console di PVM:
<pre>
root@node0:~# apt-get install pvm-examples
</pre>
 
Per eseguirli dalla console di PVM si utilizzerà il comando ''spawn -> <program name>'':
<pre>
pvmuser@node0:~$ pvm
 
pvm> spawn -> hello
spawn -> hello
[5]
1 successful
t4000c
pvm> [5:t4000c] i'm t4000c
[5:t4000c] from t80008: hello, world from node0
[5:t4000c] EOF
[5:t80008] EOF
[5] finished
</pre>
 
Happy clustering!
<br />
<br />
<br />
{{Suggerimento|Per favore se modifichi questa guida aggiungi nel box "NOTE" sottostante "Estesa da: mio_nome_utente", se invece l'hai semplicemente consultata, ma ne hai verificato personalmente la correttezza, aggiungi sempre nello stesso box "Verificata da: mio_nome_utente". In questo modo aiuti la comunità a tenere traccia della [http://guide.debianizzati.org/index.php/Aiuto:Contents#Evoluzione_delle_guide maturità] della guida.}}
{{Box|NOTE|Autore: [[Utente:J3no|J3no]] 12:58, 22 Feb 2007 (CST)<br />Estesa da: [[Utente:Pmate|pmate]] 10:47, 17 ott 2011 (CEST)
}}


*Riavviare ssh ed è fatta!


--[[Utente:J3no|J3no]] 12:58, 22 Feb 2007 (CST)


[[Categoria:Cluster]]
[[Categoria:Cluster]]
Pmate
168

contributi

Estratto da "https://guide.debianizzati.org/index.php/Speciale:DiffMobile/26724"