GNT sans publicité, site mobile, fonctionnalitées exclusives...

[HS] Mini-cluster pour calcul intensif

Le
giggzounet
Bonjour,

bon encore un HS. désolé. Je dois "construire" un mini-cluster pour
faire du calcul intensif dans mon labo. En gros on souhaite avoir entre
16 et 64 cores avec un peu de RAM. Je voudrais installer linux dessus et
vraisemblablement debian stable. J'ai une série de questions :

- le nombre de cores n'est pas encore fixé. Je ne souhaite pas avoir les
derniers modèles de processeurs sortis. Car ils sont très très chers.
Mais je m'intéresse à la différence dual-core/quad-core/octo-core (j'ai
lu pas mal de liens sur le net). Il y a 5 ou 6 ans, j'entendais dire par
les "maitres" du calcul intensif qu'il valait mieux utiliser des
dual-core que des quad-core. ça allait plus vite. Je suppose que les
choses ont bien changé en 5 ans. Est ce que les quad-core ou octo-core
sont maintenant conseillés pour le calcul intensif ?

- d'un point de vue install debian :
+ apparemment je vais avoir des intel Xeon. C'est quoi comme
architecture ces bêtes là ?

+ J'ai demandé de faire de disques pour faire du RAID software. mais
je n'y connais rien en RAID. en gros quel type de RAID me conseiller
vous, sachant que c'est du calcul intensif. ça doit aller vite et il y a
bcp d'accès disque. Ensuite quels sont les mots clés (j'ai aucune
formation d'info de base :D ) ?

+ y a t il des debian special faite pour les cluster ? ou alors des
distrib spécial cluster ?

Merci d'avance,
Guillaume

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers debian-user-french-REQUEST@lists.debian.org
En cas de soucis, contactez EN ANGLAIS listmaster@lists.debian.org
Archive: http://lists.debian.org/hq92ok$5dp$1@dough.gmane.org
Lire les 10 réponses

Vidéos High-Tech et Jeu Vidéo
Téléchargements
Vos réponses Page 1 / 2
Gagnez chaque mois un abonnement Premium avec GNT : Inscrivez-vous !
Trier par : date / pertinence
Webmaster Informatique et entreprise
Le #21569721
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

Salut,

"Boinc" , cela ne t'intéresserait pas ????

J'ai eu l'occasion de voir en local ...
Mais techniquement c'est jouable ...

Un serveur Boinc en local .... ????

Ou directement monté tes machine en ESX ....
et créer une VM géante avec tous les cores ...


giggzounet a écrit :
Bonjour,

bon encore un HS. désolé. Je dois "construire" un mini-cluster pour
faire du calcul intensif dans mon labo. En gros on souhaite avoir entre
16 et 64 cores avec un peu de RAM. Je voudrais installer linux dessus et
vraisemblablement debian stable. J'ai une série de questions :

- le nombre de cores n'est pas encore fixé. Je ne souhaite pas avoir les
derniers modèles de processeurs sortis. Car ils sont très très chers.
Mais je m'intéresse à la différence dual-core/quad-core/octo-core (j'ai
lu pas mal de liens sur le net). Il y a 5 ou 6 ans, j'entendais dire par
les "maitres" du calcul intensif qu'il valait mieux utiliser des
dual-core que des quad-core. ça allait plus vite. Je suppose que les
choses ont bien changé en 5 ans. Est ce que les quad-core ou octo-core
sont maintenant conseillés pour le calcul intensif ?

- d'un point de vue install debian :
+ apparemment je vais avoir des intel Xeon. C'est quoi comme
architecture ces bêtes là ?

+ J'ai demandé de faire de disques pour faire du RAID software. mais
je n'y connais rien en RAID. en gros quel type de RAID me conseiller
vous, sachant que c'est du calcul intensif. ça doit aller vite et il y a
bcp d'accès disque. Ensuite quels sont les mots clés (j'ai aucune
formation d'info de base... :D ) ?

+ y a t il des debian special faite pour les cluster ? ou alors des
distrib spécial cluster ?

Merci d'avance,
Guillaume




-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.9 (GNU/Linux)
Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org

iEYEARECAAYFAkvIH78ACgkQcvW/yJuiUQmWoACfeqSrng+poXOReVIr1q6+Cj97
Ha8An3SzDQ3AoGBwSHphQ7IACNO+aJlV
=o5iq
-----END PGP SIGNATURE-----

=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=- Filtered-With-Copfilter: Version 0.84beta4 (ProxSMTP 1.8)
Copfilter-Virus-Scanned: ClamAV 0.94.2/10743/Wed Apr 14 15:57:54 2010
by Markus Madlener @ http://www.copfilter.org


--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: http://lists.debian.org/
giggzounet
Le #21571321
[post reçu en privé. je renvois sur la liste]

salut,

Bonjour,

Le principe :
effectuer 16, 32 ou 64 jobs en même temps à une vitesse moindre te
donnera in fine un résulta plus intéressant que 1 seul job à vitesse
plus élevée.

1. Ton application est-elle multi-threading ?
Oui > optimiser en maximisant le nombre de cores
Non > optimiser ailleurs





:)
je fais du calcul intensif (c'est mon métier) alors jusque là ça va :)

pour rentrer un peu plus dans le détail. les codes sont tous
parallélisés et donc plus j'ai de core mieux c'est...


2. Difference dual ou quad => vitesse du processeur
Plus la vitesse est élevée, plus les calculs seront effectués
rapidement.




apparemment non. ce n'est pas que ça.

il y avait une grosse différence d'architecture entre dual et quad, il y
a 5 ans. cela entrainait une moins bonne communication entre les core
d'un quad core. en gros la même appli lancée sur un quadcore et 2
dualcore, allait plus vite sur les 2 dual core...et je me demandais si
cette tendance c'était inversée.



3.Si tu es un peu bricoleur, si nécessité de nombreux cores et si budget
serré > eBay allemagne
J'y ai trouvé des carte-mères 4 CPU quad core à des pris hors
concurrence. Tu y trouves également les cpu.
Il faut seulement un peu plus de temps et la pratique de l'assemblage de
PC.


4. J'ai vu sur Google plus d'infos sur les clusters sous FreeBSD que
sous Debian.

Pour tes recherches le keyword est BeoWulf
http://fr.wikipedia.org/wiki/Cluster_Beowulf

Quelques pistes:
http://www.informatik.uni-koeln.de/...01s07.html
http://tldp.org/HOWTO/html_single/Beowulf-HOWTO/
http://www.mcsr.olemiss.edu/bookshe...uster.html
http://freebsd.bebik.net/wiki/index...ec_FreeBSD
http://www-igm.univ-mlv.fr/~dr/XPOSE2001/vayssade/architecture%
20recommandee.htm
http://sio.obspm.fr/fichiersHTML/calcul.html
peut-être cecic : http://packages.debian.org/fr/etch-...an-cluster




je vais mater les liens. merci!




Bonne chance .






ouais je crois que je vais en avoir besoin :)

Bye
GiGGz

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: http://lists.debian.org/hq9jq7$210$
JF Straeten
Le #21572011
Re,

On Fri, Apr 16, 2010 at 09:14:27AM +0200, giggzounet wrote:

- d'un point de vue install debian :
+ apparemment je vais avoir des intel Xeon. C'est quoi comme
architecture ces bêtes là ?



S'il est récent, probablement de l'EM64T, soit le pendant Intel de
l'AMD64.

Mais ça dépend quand même fort du Xeon :-)

A+

--

JFS.

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: http://lists.debian.org/
Jean-Fran
Le #21572431
Bonjour,


En gros on souhaite avoir entre 16 et 64 cores avec un peu de RAM.



Si tu es sur un seul cluster, tu aurais déjà besoin d'avoir une
carte-mère quadriCPU, pour obtenir 16 cores... (je me base sur le fait
que tu ne veux pas des derniers CPUs sortis - autrement dit, y aura pas
plus que des quadricoeurs). Niveau budget, ça te situe déjà assez
haut...


- le nombre de cores n'est pas encore fixé. Je ne souhaite pas avoir les
derniers modèles de processeurs sortis. Car ils sont très très chers.
Mais je m'intéresse à la différence dual-core/quad-core/octo-core (j'ai
lu pas mal de liens sur le net). Il y a 5 ou 6 ans, j'entendais dire par
les "maitres" du calcul intensif qu'il valait mieux utiliser des
dual-core que des quad-core. ça allait plus vite. Je suppose que les
choses ont bien changé en 5 ans. Est ce que les quad-core ou octo-core
sont maintenant conseillés pour le calcul intensif ?



Les nouveaux ne sont pas nécessairement les plus chers. On trouve des
Xeon DP E5540 (quadcore, 2.53 Ghz, 8MB de cache L2) à 650€, alors que
les Xeon DP E5630 (quadcore, 2.53 Ghz, 12MB de cache L2) se trouvent à
480€. Pourtant, les E5630 sont plus récents (et plus performants, grâce
à leur cache plus important). Les tarifs indiqués viennent du
comparateur geizhals.at/deutschland.

En ce qui concerne les performances dual/quad-core, tu parles sans doute
des quadricoeurs du type des Intel Core 2 Quad, qui étaient en fait
constitués de deux bi-coeurs (Core 2 Duo), sur le même die, et qui
utilisaient le bus FSB pour communiquer entre eux (ce qui constituait
effectivement un goulot d'étranglement au niveau des performances, la
vitesse du FSB étant bien inférieure à celle des bus internes des CPUs).

Tous les quadricoeurs basés sur des architectures actuelles (les
Athlon/Phenom II chez AMD, les Core i5/i7 chez Intel) sont nativement
des quadricoeurs : ce goulot d'étranglement a donc disparu.






- d'un point de vue install debian :
+ apparemment je vais avoir des intel Xeon. C'est quoi comme
architecture ces bêtes là ?



Xeon = gamme pro d'Intel, ce qui signifie un contrôle qualité plus
strict, et, dans le cas des gammes récentes, quelques spécificités : le
contrôleur mémoire est compatible ECC sur les Xeon, les gammes DP
(Double Processing) intègrent un second lien QPI, les gammes MP (Multi
Processing) en intègrent encore deux supplémentaires. Pour le reste, ils
sont identiques aux Core i7 (en socket 1366).

Donc l'architecture ne change pas par rapport à ces processeurs "grand
public" : amd64 (qui n'est pas particulièrement liée aux processeurs
AMD, simplement c'est AMD qui a inauguré ce type d'architecture avec ses
Athlon 64). Intel appelle ça l'EM64T dans ses fiches techniques, et ça
ne change rien (amd64, x86_64, EM64T, etc... sont en fait synonymes). Ne
pas se laisser "tenter" en voyant l'Intel IA64 sous prétexte qu'il y a
Intel dedans : c'est une architecture réservée aux gammes Itanium.

Les architectures récentes à regarder pour ce que tu souhaites faire
sont les Gulftown et les Gainestown. (Xeon DP série 5500 et 5600). Il
existe également des hexacores (certains Xeon DP 5600). Vu ton but, je
n'indique ici que des Xeon DP, conçus pour fonctionner dans un
environnement bi-CPU. Je n'indique également que les gammes récentes.

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: http://lists.debian.org/
giggzounet
Le #21572881
Le 16/04/2010 16:25, Jean-François Pirlet a écrit :
Bonjour,


En gros on souhaite avoir entre 16 et 64 cores avec un peu de RAM.



Si tu es sur un seul cluster, tu aurais déjà besoin d'avoir une
carte-mère quadriCPU, pour obtenir 16 cores... (je me base sur le fait
que tu ne veux pas des derniers CPUs sortis - autrement dit, y aura pas
plus que des quadricoeurs). Niveau budget, ça te situe déjà assez
haut...




la boite avec laquelle je suis en relation m'a proposé un chassis IBM
x3850 M2. ça a l'air bien.

pour le prix...ben c'est po moi qui paye :D et puis pour avoir de beaux
résultats et de belles courbes, on ne compte pas :)


- le nombre de cores n'est pas encore fixé. Je ne souhaite pas avoir les
derniers modèles de processeurs sortis. Car ils sont très très chers.
Mais je m'intéresse à la différence dual-core/quad-core/octo-core (j'ai
lu pas mal de liens sur le net). Il y a 5 ou 6 ans, j'entendais dire par
les "maitres" du calcul intensif qu'il valait mieux utiliser des
dual-core que des quad-core. ça allait plus vite. Je suppose que les
choses ont bien changé en 5 ans. Est ce que les quad-core ou octo-core
sont maintenant conseillés pour le calcul intensif ?



Les nouveaux ne sont pas nécessairement les plus chers. On trouve des
Xeon DP E5540 (quadcore, 2.53 Ghz, 8MB de cache L2) à 650€, alors que
les Xeon DP E5630 (quadcore, 2.53 Ghz, 12MB de cache L2) se trouvent à
480€. Pourtant, les E5630 sont plus récents (et plus performants, grâce
à leur cache plus important). Les tarifs indiqués viennent du
comparateur geizhals.at/deutschland.




intéressant! j'ai aussi vu que certain ont l'hyper threading...et
évidemment ça a l'air vachement intéressant. en gros je pourrais avoir
avec 4 proc jusqu'à 32 threads (4*8*2) :) mais bon je ne sais pas si le
chassis supporte ces processeurs.

En ce qui concerne les performances dual/quad-core, tu parles sans doute
des quadricoeurs du type des Intel Core 2 Quad, qui étaient en fait
constitués de deux bi-coeurs (Core 2 Duo), sur le même die, et qui
utilisaient le bus FSB pour communiquer entre eux (ce qui constituait
effectivement un goulot d'étranglement au niveau des performances, la
vitesse du FSB étant bien inférieure à celle des bus internes des CPUs).

Tous les quadricoeurs basés sur des architectures actuelles (les
Athlon/Phenom II chez AMD, les Core i5/i7 chez Intel) sont nativement
des quadricoeurs : ce goulot d'étranglement a donc disparu.




ah ok. donc plus de problème. et c'est pareil pour les proc avec plus de
4 coeurs ? je vois par exemple un octocore avec hyperthreading...ça
donne envie, mais ne vaut il mieux pas avoir 2 chassis avec des
quadcores... ?



- d'un point de vue install debian :
+ apparemment je vais avoir des intel Xeon. C'est quoi comme
architecture ces bêtes là ?



Xeon = gamme pro d'Intel, ce qui signifie un contrôle qualité plus
strict, et, dans le cas des gammes récentes, quelques spécificités : le
contrôleur mémoire est compatible ECC sur les Xeon, les gammes DP
(Double Processing) intègrent un second lien QPI, les gammes MP (Multi
Processing) en intègrent encore deux supplémentaires. Pour le reste, ils
sont identiques aux Core i7 (en socket 1366).




ok. je vais regarder ça.

Donc l'architecture ne change pas par rapport à ces processeurs "grand
public" : amd64 (qui n'est pas particulièrement liée aux processeurs
AMD, simplement c'est AMD qui a inauguré ce type d'architecture avec ses
Athlon 64). Intel appelle ça l'EM64T dans ses fiches techniques, et ça
ne change rien (amd64, x86_64, EM64T, etc... sont en fait synonymes). Ne
pas se laisser "tenter" en voyant l'Intel IA64 sous prétexte qu'il y a
Intel dedans : c'est une architecture réservée aux gammes Itanium.




ok.

Les architectures récentes à regarder pour ce que tu souhaites faire
sont les Gulftown et les Gainestown. (Xeon DP série 5500 et 5600). Il
existe également des hexacores (certains Xeon DP 5600). Vu ton but, je
n'indique ici que des Xeon DP, conçus pour fonctionner dans un
environnement bi-CPU. Je n'indique également que les gammes récentes.




ben si tu as des configs type, ça m'intéresse!!! :) ...tu peux me
contacter en privé (je ne suis pas sur que la pub pour certaines marques
soit appréciées sur la liste...).

En tout cas merci pour tes éclaircissements!
Bon we
Guillaume

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: http://lists.debian.org/hq9v6m$gm1$
Publicité
Suivre les réponses
Poster une réponse
Anonyme