Logo GNT
Actualités Tests & Guides Bons Plans
Twitter iPhone pliant OnePlus 11 PS5 Disney+ Orange Livebox Windows 11
Entraide Linux Autres OS Linux Debian Monter son cluster

Monter son cluster

5 réponses
Avatar
RHATAY Sami
Salut à tous,

en faisant quelques recherches sur le Raspberry Pi j'ai vu que certains
avaient monté leur petit cluster personnel (de 4 à 64 nœuds). Je m'y
suis donc intéressé.

j'aimerai commencer par un monter un sur 3 ordinateurs puis ensuite
reproduire sur un montage de RPi.
Mais quelque chose m'échappe, sur les tutos, une fois monté, est-ce
qu'il est possible d'utiliser ce cluster pour faire bosser une
application et de partager les calculs entre les nœuds ou faut-il écrire
soi-même une application qui pourra être ensuite exécutée. (dans
beaucoup de tutos qui utilisent MPICH2, ils testent le montage avec un
programme pour calculer Pi)

Un exemple pour illustrer :

J'aimerai par exemple d'essayer cracker une archive RAR protégée par mot
de passe (un petit bien sûr) avec le soft rarcrack en essayant de
partager les calculs entre les nœuds, pour voir si on peut y voir une
différence comparé à une exécution sur un seul ordinateur.

Ou autre exemple j'ai vu certains qui faisaient un écho un très grand
nombre de fois, et qui regardaient comment variait le temps d'exécution
avec 1,2,3 nœuds voire plus.

J'espère avoir été clair dans mon message
Merci !
Cordialement

--
RHATAY Sami
IUT Vannes - INFO1

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers debian-user-french-REQUEST@lists.debian.org
En cas de soucis, contactez EN ANGLAIS listmaster@lists.debian.org
Archive: http://lists.debian.org/5292720F.8080301@etud.univ-ubs.fr
Signaler un problème avec ce contenu

5 réponses

Supprimer
Cette action est irreversible, confirmez la suppression du commentaire ?
Signaler le commentaire

Veuillez sélectionner un problème

Nudité
Violence
Harcèlement
Fraude
Vente illégale
Discours haineux
Terrorisme
Autre
Avatar
Sylvain L. Sauvage
Le dimanche 24 novembre 2013 22:39:27 RHATAY Sami a écrit :
Salut à tous,
[…]
est-ce qu'il est possible d'utiliser ce cluster pour faire
bosser une application et de partager les calculs entre les
nœuds ou faut-il écrire soi-même une application qui pourra
être ensuite exécutée.



La transparence dépend du type de cluster. Est-ce que la
« machine » résultante est vue comme une seule (grosse) machine
avec plusieurs processeurs ou non.
Dans le premier cas, il faut que l’application soit multi-
thread ou multi-processus. Dans le second, il faut qu’elle
utilise en plus les mécanismes adéquats (p.ex. PVM).

(dans beaucoup de tutos qui utilisent
MPICH2, ils testent le montage avec un programme pour
calculer Pi)[…]



Et certains s’arrêtent une fois qu’ils ont réussi ça parce
que, en fin de compte, ils n’ont rien d’autre à lui faire faire…

J'espère avoir été clair dans mon message



À peu près ;o)

--
Sylvain Sauvage

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: http://lists.debian.org/
Avatar
RHATAY Sami
Le 25/11/2013 00:12, Sylvain L. Sauvage a écrit :
Le dimanche 24 novembre 2013 22:39:27 RHATAY Sami a écrit :
Salut à tous,
[…]
est-ce qu'il est possible d'utiliser ce cluster pour faire
bosser une application et de partager les calculs entre les
nœuds ou faut-il écrire soi-même une application qui pourra
être ensuite exécutée.


La transparence dépend du type de cluster. Est-ce que la
« machine » résultante est vue comme une seule (grosse) machine
avec plusieurs processeurs ou non.
Dans le premier cas, il faut que l’application soit multi-
thread ou multi-processus. Dans le second, il faut qu’elle
utilise en plus les mécanismes adéquats (p.ex. PVM).

(dans beaucoup de tutos qui utilisent
MPICH2, ils testent le montage avec un programme pour
calculer Pi)[…]


Et certains s’arrêtent une fois qu’ils ont réussi ça parce
que, en fin de compte, ils n’ont rien d’autre à lui faire faire…

J'espère avoir été clair dans mon message


À peu près ;o)




Bonjour,

merci pour la réponse !
Du coup, par où je peux commencer ? J'imagine que le plus "simple" est
simuler une seule machine avec un seul processeur ?

Merci!
Cordialement

--
RHATAY Sami
IUT Vannes - INFO1

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: http://lists.debian.org/
Avatar
Sylvain L. Sauvage
Le mardi 26 novembre 2013 11:29:50 RHATAY Sami a écrit :
[…]
>> J'espère avoir été clair dans mon message
>>
> À peu près ;o)

Bonjour,



’jour,

merci pour la réponse !
Du coup, par où je peux commencer ? J'imagine que le plus
"simple" est simuler une seule machine avec un seul
processeur ?



Bon alors c’est moi qui n’ai pas été clair ;o)

Il n’y a aucune façon de combiner plusieurs CPU pour en faire
un seul « plus puissant ».

Une grappe, c’est pour avoir plus de CPU / RAM en combinant
des machines, aux dépends des coûts en communication entre le s
machines. Le nombre de CPU de la grappe est le total du nombre
de CPU des machines (moins peut-être quelques uns réservé s pour
la gestion de la grappe).

Certaines façons de créer une grappe rendent transparente l a
présence des machines sous-jacentes. Les programmes utilisateur
n’ont alors pas à être modifiés par rapport à une machine multi-
processeur mais ils doivent quand même être multi-threadé s pour
utiliser les capacités de la machine.

Les autres façons (MPICH, PVM, Torque, « maison Ƞ¦) installent
un service sur les nœuds pour y recevoir et faire exécuter de s
tâches (des « clients », des logiciels qui sont « p révus
pour »). Là, on voit les machines sous-jacentes. (Mais le
mécanisme de distribution peut choisir le « bon » nœ ud pour la
« bonne » tâche tout seul.) C’est la technique l a plus simple et
la plus « grand public ».

En ce qui concerne les tâches à effectuer, pour que ça ait un
intérêt et que tout le temps ne soit pas passé en
communications, il faut qu’elles soient très calculatoires et
divisibles. Le calcul de π est un exemple simple parce qu’ on
peut en calculer la n-ième « hexadécimale » (chiffr e en base 16)
sans connaître les autres : chaque nœud peut s’occupe r de
calculer tout seul un certain nombre de chiffres et on n’a plus
qu’à tout rassembler le tout à la fin.
est aussi un bon exemple.
Un bon nombre d’outils de calcul (Scilab…) savent uti liser PVM
ou MPICH.
Je crois qu’il y avait des patch pour POVRay 3.6 (le vén érable
ray-traceur) pour lui faire utiliser PVM. Et c’est quand mê me
plus sympa de calculer de jolies images que les chiffres de π†¦

--
Sylvain Sauvage

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: http://lists.debian.org/
Avatar
Gilles Mocellin
Le 26/11/2013 15:36, Sylvain L. Sauvage a écrit :
Le mardi 26 novembre 2013 11:29:50 RHATAY Sami a écrit :
[…]
J'espère avoir été clair dans mon message



À peu près ;o)


Bonjour,


’jour,

merci pour la réponse !
Du coup, par où je peux commencer ? J'imagine que le plus
"simple" est simuler une seule machine avec un seul
processeur ?


Bon alors c’est moi qui n’ai pas été clair ;o)

Il n’y a aucune façon de combiner plusieurs CPU pour en faire
un seul « plus puissant ».

Une grappe, c’est pour avoir plus de CPU / RAM en combinant
des machines, aux dépends des coûts en communication entre les
machines. Le nombre de CPU de la grappe est le total du nombre
de CPU des machines (moins peut-être quelques uns réservés pour
la gestion de la grappe).

Certaines façons de créer une grappe rendent transparente la
présence des machines sous-jacentes. Les programmes utilisateur
n’ont alors pas à être modifiés par rapport à une machine multi-
processeur mais ils doivent quand même être multi-threadés pour
utiliser les capacités de la machine.


[...]

A une époque, j'avais regardé OpenMosix, qui devait rendre assez
transparent la migration de process entre les noeuds.
Mais c'est mort :
http://openmosix.sourceforge.net/

Il y a la notion de Single Image System :
https://en.wikipedia.org/wiki/Single_system_image

Mes deux centimes.

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: http://lists.debian.org/
Avatar
Bernard Schoenacker
Le Tue, 26 Nov 2013 18:36:13 +0100,
Gilles Mocellin a écrit :

Le 26/11/2013 15:36, Sylvain L. Sauvage a écrit :
> Le mardi 26 novembre 2013 11:29:50 RHATAY Sami a écrit :
>> […]
>>>> J'espère avoir été clair dans mon message
>>>>
>>> À peu près ;o)
>> Bonjour,
> ’jour,
>
>> merci pour la réponse !
>> Du coup, par où je peux commencer ? J'imagine que le plus
>> "simple" est simuler une seule machine avec un seul
>> processeur ?
> Bon alors c’est moi qui n’ai pas été clair ;o)
>
> Il n’y a aucune façon de combiner plusieurs CPU pour en faire
> un seul « plus puissant ».
>
> Une grappe, c’est pour avoir plus de CPU / RAM en combinant
> des machines, aux dépends des coûts en communication entre les
> machines. Le nombre de CPU de la grappe est le total du nombre
> de CPU des machines (moins peut-être quelques uns réservés pour
> la gestion de la grappe).
>
> Certaines façons de créer une grappe rendent transparente la
> présence des machines sous-jacentes. Les programmes utilisateur
> n’ont alors pas à être modifiés par rapport à une machine multi-
> processeur mais ils doivent quand même être multi-threadés pour
> utiliser les capacités de la machine.
[...]

A une époque, j'avais regardé OpenMosix, qui devait rendre assez
transparent la migration de process entre les noeuds.
Mais c'est mort :
http://openmosix.sourceforge.net/

Il y a la notion de Single Image System :
https://en.wikipedia.org/wiki/Single_system_image

Mes deux centimes.



bonjour,

il y a plusieures années je m'était penché dessus ceci :

http://www.calvin.edu/~adams/research/microwulf/

le matériel date un peut mais le principe est toujours valide


slt
bernard

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: http://lists.debian.org/