OVH Cloud OVH Cloud

Le serveur le plus rapide du monde...

36 réponses
Avatar
Olivier
...Utilise des processeurs moins puissant que le miens.

Mais où j'ai mis qu'un seul processeur, IBM en a enfilé 131072 !

Et où j'ai mis 2 GB de RAM, il en ont mis 32768 GB :>))

http://domino.research.ibm.com/comm/pr.nsf/pages/rsc.bluegene_2004.html

Savez-vous quel OS il tourne, ce truc ?

Ca peut pas être du Windows...

Olivier

10 réponses

1 2 3 4
Avatar
Stéphane Zuckerman
On Wed, 28 Jun 2006, Michel Talon wrote:

En bref, faire du clustering performant sur des ensembles de ce genre c'est
encore du domaine de la recherche, et ce n'est certainement pas avec du linux
"out of the box" que ça va marcher. Tu en parleras aux gens qui essaient de
faire des clusters de bien plus petite taille et qui obtienent des résultats
peu probants. Sans même aller chercher si loin tu regarderas ce que ça donne
de multithreader un programme sur une machine à deux processeurs,
actuellement, sous Linux. Tu regarderas ce que les gens sont obligés
d'utiliser comme logiciels pour faire leurs calculs, des trucs comme MPI
http://www-unix.mcs.anl.gov/mpi/
où il faut se palucher toute la synchronisation et le parallélisme du calcul
à la mano pour arriver à utiliser un cluster sous Linux.


Oui. Enfin cela dit, pour les cas « simples », certaines instructions
existent déjà (utilisation de barrières pour introduire un point de
synchro obligatoire pour toutes les instances / tous les processus du
programme, etc.), et l'INRIA bosse sur différentes versions de MPI, dont
une capable de faire du recovery en cas de crash d'une machine ...

Cela dit, il existe des gens qui combinent mpi et openmp, qui se prennent
vraiment beaucoup la tête, et qui ont des perfs plutôt bonnes. C'est juste
que (et là je cite plus ou moins un de mes anciens profs), c'est tellement
compliqué qu'il vaut mieux tout faire avec mpi. :-)

--
"Je deteste les ordinateurs : ils font toujours ce que je dis, jamais ce
que je veux !"
"The obvious mathematical breakthrough would be development of an easy
way to factor large prime numbers." (Bill Gates, The Road Ahead)

Avatar
Stéphane Zuckerman
On Wed, 28 Jun 2006, Michel Talon wrote:

Je te rassure de suite, Windows ne fait pas mieux. J'ai entendu dire que
une couche de passage de messages en réseau beaucoup plus basse que le noyau
et plus rapide, pour autant je ne sais pas s'il existe des choses rééllement
fonctionnelles. Tant que la programmation distribuée sera toujours aussi
galère je doute que ces sytèmes soient largement utilisés sauf pour des
applications spécifiques où on ne peut pas s'en passer (la météorologie,
la sismique, les bombes atomiques, etc.) et où on veut bien en payer le prix.


J'ai lu les derniers articles de Tanenbaum à propos de Minix 3, et j'ai
commencé à regarder le source. Il manque des choses à son OS pour qu'il
soit pleinement fonctionnel, mais il fait des choses intéressantes, et
franchement je trouve qu'il est sur la bonne voie. Niveau performances par
contre, il l'annonce directement : c'est plus lent (entre 6 et 15% suivant
les tâches à effectuer) qu'un OS classique, mais il justifie ça par le
fait que maintenant les gens préfèrent un système fiable légèrement plus
lent qu'un système qui crashe, même irrégulièrement. Minix 3 me semble
être un bon OS pour faire le « proof of concept » d'un OS avec micro-noyau
compatible POSIX.

--
"Je deteste les ordinateurs : ils font toujours ce que je dis, jamais ce
que je veux !"
"The obvious mathematical breakthrough would be development of an easy
way to factor large prime numbers." (Bill Gates, The Road Ahead)

Avatar
Stéphane Zuckerman
On Thu, 29 Jun 2006, Olivier wrote:

Michel Talon a pensé très fort :

J'ai entendu dire que
certains Unix propriétaires avaient des implémentations de Single System
Image beaucoup plus performantes, en particulier AIX de IBM, mais je n'ai
jamais rien vu de première main.


Mais dans la mesure où IBM a créé une version fortement améliorée de Linux
pour ce supercalculateur, ces mofis sont elles connues et disponibles pour la
communauté Open Source ?

J'imagine que oui ...


Ce serait bien, mais c'est pas sûr. Ils vont modifier Linux pour Blue Gene
qui est un cluster bien particulier, avec des problèmes bien spécifiques.
Il est possible qu'IBM garde les sources pour lui - jusqu'à ce qu'il
trouve un moyen de commercialiser des solutions de clustering efficaces.
:-)


--
"Je deteste les ordinateurs : ils font toujours ce que je dis, jamais ce
que je veux !"
"The obvious mathematical breakthrough would be development of an easy
way to factor large prime numbers." (Bill Gates, The Road Ahead)


Avatar
noone
Mais dans la mesure où IBM a créé une version fortement améliorée de
Linux pour ce supercalculateur, ces mofis sont elles connues et
disponibles pour la communauté Open Source ?

J'imagine que oui ...



Ils n'ont l'obligation de fournir les sources que s'ils fournissent un
binaire... ce qui n'est pas le cas.

Ce que tu demandes c'est comme imaginer que la GPL a tout développeur de
mettre en ligne ses sources au fur et à mesure du développement.
En pratique c'est souvent le cas via CVS, Subversion and co hébergé sur
le web... mais ça n'est nullement OBLIGATOIRE...

Avatar
talon
Olivier wrote:
Michel Talon a pensé très fort :

J'ai entendu dire que
certains Unix propriétaires avaient des implémentations de Single System
Image beaucoup plus performantes, en particulier AIX de IBM, mais je n'ai
jamais rien vu de première main.


Mais dans la mesure où IBM a créé une version fortement améliorée de
Linux pour ce supercalculateur, ces mofis sont elles connues et
disponibles pour la communauté Open Source ?



Soyons sérieux. Qui a les moyens de s'offir un cluster? Quelques centaines de
labos dans le monde. Ca n'a plus rien à voir avec la "communauté open source"
dont tu parles. Les gens qui achètent ça achetaient des Cray avant, ils n'ont
pas grand chose à faire de savoir ce qui gère leur cluster, ils font confiance
à IBM, tout ce qui les intéresse c'est de faire tourner leurs calculs.
Si leurs calculs distribués sont lents ils se tournent vers IBM, ils ont
quelqu'un à engueuler et quelqu'un qui a les moyens de mettre des gens
compétents sur le problème, en nombre suffisant. Ca n'a absolument rien à voir
avec la logique open source.




--

Michel TALON


Avatar
talon
Stéphane Zuckerman wrote:

Cela dit, il existe des gens qui combinent mpi et openmp, qui se prennent
vraiment beaucoup la tête, et qui ont des perfs plutôt bonnes. C'est juste
que (et là je cite plus ou moins un de mes anciens profs), c'est tellement
compliqué qu'il vaut mieux tout faire avec mpi. :-)



Je suis bien d'accord, mais tu vois le physicien qui a besoin d'une telle
machine, il a besoin d'apprendre la physique, puis de programmer son calcul,
s'il faut en plus se prendre la tête avec des conneries d'informaticien dont
il n'a rien à secouer, ça commence à faire très très cher pour lui. Donc il
fait ce genre de choses s'il n'y a absolument aucune autre solution. En fait
c'est souvent le cas qu'en étudiant mieux la physique on peut réduire le
calcul et se passer de tout ce business.





--

Michel TALON

Avatar
Khanh-Dang
Michel Billaud wrote:
Bah, y même pas la colorimétrie, les photographes vont pas vouloir en
acheter.


Le grand public non plus ne va pas en vouloir s'il n'y a pas la
colorimétrie.

Avatar
Denis Beauregard
Le Wed, 28 Jun 2006 16:57:22 -0400, Yugo écrivait
dans fr.comp.os.linux.debats:

T'as vu de quelle époque ces URLs datent?


Ça, c'est rien.

Il existe des langages informatiques depuis plus de 20 ans pour de
telles applications. Par exemple, Occam 1 date de 1983.
http://en.wikipedia.org/wiki/Occam_programming_language

Donc, le concept en soi est relativement ancien et je suis un peu
surpris qu'on en soit encore à un niveau expérimental.


Denis

Avatar
Stéphane Zuckerman
On Thu, 29 Jun 2006, Michel Talon wrote:

Stéphane Zuckerman wrote:

Cela dit, il existe des gens qui combinent mpi et openmp, qui se prennent
vraiment beaucoup la tête, et qui ont des perfs plutôt bonnes. C'est juste
que (et là je cite plus ou moins un de mes anciens profs), c'est tellement
compliqué qu'il vaut mieux tout faire avec mpi. :-)



Je suis bien d'accord, mais tu vois le physicien qui a besoin d'une telle
machine, il a besoin d'apprendre la physique, puis de programmer son calcul,
s'il faut en plus se prendre la tête avec des conneries d'informaticien dont
il n'a rien à secouer, ça commence à faire très très cher pour lui. Donc il
fait ce genre de choses s'il n'y a absolument aucune autre solution. En fait
c'est souvent le cas qu'en étudiant mieux la physique on peut réduire le
calcul et se passer de tout ce business.



Ca c'est une vraie question que je me pose : je vois beaucoup de gens dans
des domaines plus ou moins afférents à la physique (mécanique, etc), qui
se retrouvent obligés de coder des trucs (parce qu'avoir les formules
mathématiques, c'est bien, mais les mettre en oeuvre dans des simulations
avant de fabriquer des machines, c'est mieux). Sauf qu'ils n'ont
absolument pas de formation concernant la façon de coder des applications
- pérennité du code, modularisation, et à moyen ou long terme (pour les
codes faisant intervenir du calcul intensif) optimisation.

Alors bien évidemment, souvent le mec qui sait optimiser a fait des études
d'informatique, et la physique ça le dépasse (ou plus exactement, ce genre
de physique qui va plus loin que Newton ;-) ). Il ne peut donc
nécessairement comprendre toutes les subtilités. Mais une fois que ladite
formule et les calculs à effectués sont établis (en gros, un fois qu'on a
un modèle), pourquoi les physiciens ne confient-ils pas la réécriture de
leur prototype à un collègue du département informatique (ou bien pourquoi
n'embauchent-il pas quelqu'un pour le faire, etc.) ?

Lorsque je vois le code pondu par certains collègues de génie mécanique,
je me pose des questions parfois... Je ne comprends rien à la finalité du
code, mais je peux déjà voir qu'il y a des problèmes de structuration du
programmes, etc...

--
"Je deteste les ordinateurs : ils font toujours ce que je dis, jamais ce
que je veux !"
"The obvious mathematical breakthrough would be development of an easy
way to factor large prime numbers." (Bill Gates, The Road Ahead)


Avatar
Michel Billaud
(Michel Talon) writes:

Stéphane Zuckerman wrote:

Cela dit, il existe des gens qui combinent mpi et openmp, qui se prennent
vraiment beaucoup la tête, et qui ont des perfs plutôt bonnes. C'est juste
que (et là je cite plus ou moins un de mes anciens profs), c'est tellement
compliqué qu'il vaut mieux tout faire avec mpi. :-)



Je suis bien d'accord, mais tu vois le physicien qui a besoin d'une telle
machine, il a besoin d'apprendre la physique, puis de programmer son calcul,
s'il faut en plus se prendre la tête avec des conneries d'informaticien dont
il n'a rien à secouer, ça commence à faire très très cher pour lui.


Pour le contribuable, plutot.

Donc il fait ce genre de choses s'il n'y a absolument aucune autre
solution. En fait c'est souvent le cas qu'en étudiant mieux la
physique on peut réduire le calcul et se passer de tout ce business.


C'est pas comme ça qu'on arrive à chopper les gros budgets qui
justifient du personnel qui justifie un batiment et des équipements
qui justifient un gros budget qui justifient un institut pour lequel
il faut un directeur etc.

MB
--
Michel BILLAUD
LABRI-Université Bordeaux I tel 05 4000 6922 / 05 5684 5792
351, cours de la Libération http://www.labri.fr/~billaud
33405 Talence (FRANCE)


1 2 3 4