j'ai quelques machines bi et quadriproc qui tournent avec un linux smp
(uniquement des mandrake 9.2), et j'ai un soucis sur la gestion de la
memoire.
Quand un utilisateur lance un calcul occupant beaucoup de memoire, la
machine n'occupe jamais toute la memoire dispo mais sature sur une
barette (1Go ou 512Mo).
Existe t'il un moyen pour permettre à un processus d'occuper toute la
memoire ?
les outils informatiques utilisés ont tout de suite besoin d'etre enormes. (genre une manip de PIV sur 2 Jours qui genere 3To de fichier)
Et vous utilisez quoi comme "architecture" de stockage? Je veux dire... c'est pas avec des disques IDE qu'on s'en sortira pour de telles quantités... non? parceque j'imagine que 3To de fichiers génégé, c'est sans compter ce qu'il a fallu lire-effacer-ecrire pour enfin arriver à ces 3 To... non?
Dis... vous etes en France? vous n'organisez pas des visites de votre "datacenter" des fois? (portes ouvertes, ou autre,...) a moins que vos machines ne soient inaccesibles aux personnes extérieures à votre labo, je suis partant pour voir ça... Y en a au CNRS d'Orléans (ma Fac), mais on n'a pas droit d'y entrer, quel que soit le motif... :-( C'est pas que ça va me rendre subitement moins bete, mais c'est pour la culture générale quoi...
-- Les serveurs avec 10Mb/s se louent maintenant pour 50 ou 60 Euros par mois! La preuve http://www.google.fr/search?q=serveur+dedie Infogerance de serveur dedie http://aspo.rktmb.org/activites/infogerance (En louant les services de l'ASPO vous luttez contre la fracture numerique)
( Thu, 24 Mar 2005 09:32:02 +0100 ) Deepthroat :
de la PIV,
PIV ?
les outils
informatiques utilisés ont tout de suite besoin d'etre enormes. (genre
une manip de PIV sur 2 Jours qui genere 3To de fichier)
Et vous utilisez quoi comme "architecture" de stockage? Je veux dire...
c'est pas avec des disques IDE qu'on s'en sortira pour de telles
quantités... non? parceque j'imagine que 3To de fichiers génégé, c'est
sans compter ce qu'il a fallu lire-effacer-ecrire pour enfin arriver à
ces 3 To... non?
Dis... vous etes en France? vous n'organisez pas des visites de votre
"datacenter" des fois? (portes ouvertes, ou autre,...) a moins que vos
machines ne soient inaccesibles aux personnes extérieures à votre labo,
je suis partant pour voir ça... Y en a au CNRS d'Orléans (ma Fac), mais
on n'a pas droit d'y entrer, quel que soit le motif... :-( C'est pas que
ça va me rendre subitement moins bete, mais c'est pour la culture
générale quoi...
--
Les serveurs avec 10Mb/s se louent maintenant pour 50 ou 60 Euros par mois!
La preuve http://www.google.fr/search?q=serveur+dedie
Infogerance de serveur dedie http://aspo.rktmb.org/activites/infogerance
(En louant les services de l'ASPO vous luttez contre la fracture numerique)
les outils informatiques utilisés ont tout de suite besoin d'etre enormes. (genre une manip de PIV sur 2 Jours qui genere 3To de fichier)
Et vous utilisez quoi comme "architecture" de stockage? Je veux dire... c'est pas avec des disques IDE qu'on s'en sortira pour de telles quantités... non? parceque j'imagine que 3To de fichiers génégé, c'est sans compter ce qu'il a fallu lire-effacer-ecrire pour enfin arriver à ces 3 To... non?
Dis... vous etes en France? vous n'organisez pas des visites de votre "datacenter" des fois? (portes ouvertes, ou autre,...) a moins que vos machines ne soient inaccesibles aux personnes extérieures à votre labo, je suis partant pour voir ça... Y en a au CNRS d'Orléans (ma Fac), mais on n'a pas droit d'y entrer, quel que soit le motif... :-( C'est pas que ça va me rendre subitement moins bete, mais c'est pour la culture générale quoi...
-- Les serveurs avec 10Mb/s se louent maintenant pour 50 ou 60 Euros par mois! La preuve http://www.google.fr/search?q=serveur+dedie Infogerance de serveur dedie http://aspo.rktmb.org/activites/infogerance (En louant les services de l'ASPO vous luttez contre la fracture numerique)
Et vous utilisez quoi comme "architecture" de stockage? Je veux dire... c'est pas avec des disques IDE qu'on s'en sortira pour de telles quantités... non? parceque j'imagine que 3To de fichiers génégé, c'est sans compter ce qu'il a fallu lire-effacer-ecrire pour enfin arriver à ces 3 To... non?
Des baies SATA ou SCSI Raid 5 de 3 et 4To.
Dis... vous etes en France? vous n'organisez pas des visites de votre "datacenter" des fois? (portes ouvertes, ou autre,...) a moins que vos machines ne soient inaccesibles aux personnes extérieures à votre labo, je suis partant pour voir ça... Y en a au CNRS d'Orléans (ma Fac), mais on n'a pas droit d'y entrer, quel que soit le motif... :-( C'est pas que ça va me rendre subitement moins bete, mais c'est pour la culture générale quoi...
En fait en local au labo, on a pas du gros matos a part le stockage. Pour le calcul, le labo a des acces au CINES et a l'IDRIS.
Et vous utilisez quoi comme "architecture" de stockage? Je veux dire...
c'est pas avec des disques IDE qu'on s'en sortira pour de telles
quantités... non? parceque j'imagine que 3To de fichiers génégé, c'est
sans compter ce qu'il a fallu lire-effacer-ecrire pour enfin arriver à
ces 3 To... non?
Des baies SATA ou SCSI Raid 5 de 3 et 4To.
Dis... vous etes en France? vous n'organisez pas des visites de votre
"datacenter" des fois? (portes ouvertes, ou autre,...) a moins que vos
machines ne soient inaccesibles aux personnes extérieures à votre labo,
je suis partant pour voir ça... Y en a au CNRS d'Orléans (ma Fac), mais
on n'a pas droit d'y entrer, quel que soit le motif... :-( C'est pas que
ça va me rendre subitement moins bete, mais c'est pour la culture
générale quoi...
En fait en local au labo, on a pas du gros matos a part le stockage.
Pour le calcul, le labo a des acces au CINES et a l'IDRIS.
Et vous utilisez quoi comme "architecture" de stockage? Je veux dire... c'est pas avec des disques IDE qu'on s'en sortira pour de telles quantités... non? parceque j'imagine que 3To de fichiers génégé, c'est sans compter ce qu'il a fallu lire-effacer-ecrire pour enfin arriver à ces 3 To... non?
Des baies SATA ou SCSI Raid 5 de 3 et 4To.
Dis... vous etes en France? vous n'organisez pas des visites de votre "datacenter" des fois? (portes ouvertes, ou autre,...) a moins que vos machines ne soient inaccesibles aux personnes extérieures à votre labo, je suis partant pour voir ça... Y en a au CNRS d'Orléans (ma Fac), mais on n'a pas droit d'y entrer, quel que soit le motif... :-( C'est pas que ça va me rendre subitement moins bete, mais c'est pour la culture générale quoi...
En fait en local au labo, on a pas du gros matos a part le stockage. Pour le calcul, le labo a des acces au CINES et a l'IDRIS.
Laurent Wacrenier
Deepthroat écrit:
Ce ne sont pas des 'hello world'. Les gens avec qui je travaille ne peuvent alleger leur code, ni les resultats.
Certes, mais ils pourraient calculer une approximation avec un maillage plus gros qui tiendraient dans les machines pour voir si ça vaut le coup de faire le vrai calcul sur une machine plus puissante (et plus chère).
Deepthroat <deep@throat.org> écrit:
Ce ne sont pas des 'hello world'. Les gens avec qui je travaille ne
peuvent alleger leur code, ni les resultats.
Certes, mais ils pourraient calculer une approximation avec un
maillage plus gros qui tiendraient dans les machines pour voir si ça
vaut le coup de faire le vrai calcul sur une machine plus puissante
(et plus chère).
Ce ne sont pas des 'hello world'. Les gens avec qui je travaille ne peuvent alleger leur code, ni les resultats.
Certes, mais ils pourraient calculer une approximation avec un maillage plus gros qui tiendraient dans les machines pour voir si ça vaut le coup de faire le vrai calcul sur une machine plus puissante (et plus chère).
Remi Moyen
On Thu, 24 Mar 2005, Rakotomandimby (R12y) Mihamina wrote:
les outils informatiques utilisés ont tout de suite besoin d'etre enormes. (genre une manip de PIV sur 2 Jours qui genere 3To de fichier)
Et vous utilisez quoi comme "architecture" de stockage? Je veux dire... c'est pas avec des disques IDE qu'on s'en sortira pour de telles quantités... non? parceque j'imagine que 3To de fichiers génégé, c'est sans compter ce qu'il a fallu lire-effacer-ecrire pour enfin arriver à ces 3 To... non?
Dis... vous etes en France? vous n'organisez pas des visites de votre "datacenter" des fois? (portes ouvertes, ou autre,...) a moins que vos machines ne soient inaccesibles aux personnes extérieures à votre labo, je suis partant pour voir ça... Y en a au CNRS d'Orléans (ma Fac), mais on n'a pas droit d'y entrer, quel que soit le motif... :-( C'est pas que ça va me rendre subitement moins bete, mais c'est pour la culture générale quoi...
Juste histoire de causer, la boîte dans laquelle je vais bientôt bosser (CGG) travaille dans le domaine de l'acquisition et du traitement des données de prospection sismique (dans le cadre de la prospection pétrolière, essentiellement).
Chez eux, les jeux de données initiaux font quelques To, et les cubes traités et filtrés font encore quelques centaines de Go. Dans le département de recherche où je vais, on fait nos tests sur des "petits" échantillons de 2 à 5 Go. Je te laisse imaginer les problèmes de visualisation 3D de tels jeux de données.
Pour ce qui est du traitement, y'a un centre dédié à Londres, mais qui ne se visite pas (déjà pas pour les employés, alors pour le "public"...). J'ai bien vu passer quelques photos, mais ça ressemble à n'importe quelle autre salle informatique de grande ampleur, avec des robots à bandes en plus (les données sont archivées sur bandes).
Bref, tout ça pour dire que des volumes de donnée de cette ampleur, ça se rencontre vraiment, dans des usages quotidiens. Bon, évidemment, maintenant, on est en train de parler de taille des données alors que les messages initiaux parlaient de taille de l'executable, c'est pas exactement la même chose. -- Rémi Moyen "Malgré les apparences, le temps est très varié à Nancy : pluie, nuages, neige, brouillard, grêle, ..."
On Thu, 24 Mar 2005, Rakotomandimby (R12y) Mihamina wrote:
les outils
informatiques utilisés ont tout de suite besoin d'etre enormes. (genre
une manip de PIV sur 2 Jours qui genere 3To de fichier)
Et vous utilisez quoi comme "architecture" de stockage? Je veux dire...
c'est pas avec des disques IDE qu'on s'en sortira pour de telles
quantités... non? parceque j'imagine que 3To de fichiers génégé, c'est
sans compter ce qu'il a fallu lire-effacer-ecrire pour enfin arriver à
ces 3 To... non?
Dis... vous etes en France? vous n'organisez pas des visites de votre
"datacenter" des fois? (portes ouvertes, ou autre,...) a moins que vos
machines ne soient inaccesibles aux personnes extérieures à votre labo,
je suis partant pour voir ça... Y en a au CNRS d'Orléans (ma Fac), mais
on n'a pas droit d'y entrer, quel que soit le motif... :-( C'est pas que
ça va me rendre subitement moins bete, mais c'est pour la culture
générale quoi...
Juste histoire de causer, la boîte dans laquelle je vais bientôt bosser
(CGG) travaille dans le domaine de l'acquisition et du traitement des
données de prospection sismique (dans le cadre de la prospection
pétrolière, essentiellement).
Chez eux, les jeux de données initiaux font quelques To, et les cubes
traités et filtrés font encore quelques centaines de Go. Dans le
département de recherche où je vais, on fait nos tests sur des "petits"
échantillons de 2 à 5 Go. Je te laisse imaginer les problèmes de
visualisation 3D de tels jeux de données.
Pour ce qui est du traitement, y'a un centre dédié à Londres, mais qui ne
se visite pas (déjà pas pour les employés, alors pour le "public"...).
J'ai bien vu passer quelques photos, mais ça ressemble à n'importe quelle
autre salle informatique de grande ampleur, avec des robots à bandes en
plus (les données sont archivées sur bandes).
Bref, tout ça pour dire que des volumes de donnée de cette ampleur, ça se
rencontre vraiment, dans des usages quotidiens. Bon, évidemment,
maintenant, on est en train de parler de taille des données alors que les
messages initiaux parlaient de taille de l'executable, c'est pas
exactement la même chose.
--
Rémi Moyen
"Malgré les apparences, le temps est très varié à Nancy :
pluie, nuages, neige, brouillard, grêle, ..."
On Thu, 24 Mar 2005, Rakotomandimby (R12y) Mihamina wrote:
les outils informatiques utilisés ont tout de suite besoin d'etre enormes. (genre une manip de PIV sur 2 Jours qui genere 3To de fichier)
Et vous utilisez quoi comme "architecture" de stockage? Je veux dire... c'est pas avec des disques IDE qu'on s'en sortira pour de telles quantités... non? parceque j'imagine que 3To de fichiers génégé, c'est sans compter ce qu'il a fallu lire-effacer-ecrire pour enfin arriver à ces 3 To... non?
Dis... vous etes en France? vous n'organisez pas des visites de votre "datacenter" des fois? (portes ouvertes, ou autre,...) a moins que vos machines ne soient inaccesibles aux personnes extérieures à votre labo, je suis partant pour voir ça... Y en a au CNRS d'Orléans (ma Fac), mais on n'a pas droit d'y entrer, quel que soit le motif... :-( C'est pas que ça va me rendre subitement moins bete, mais c'est pour la culture générale quoi...
Juste histoire de causer, la boîte dans laquelle je vais bientôt bosser (CGG) travaille dans le domaine de l'acquisition et du traitement des données de prospection sismique (dans le cadre de la prospection pétrolière, essentiellement).
Chez eux, les jeux de données initiaux font quelques To, et les cubes traités et filtrés font encore quelques centaines de Go. Dans le département de recherche où je vais, on fait nos tests sur des "petits" échantillons de 2 à 5 Go. Je te laisse imaginer les problèmes de visualisation 3D de tels jeux de données.
Pour ce qui est du traitement, y'a un centre dédié à Londres, mais qui ne se visite pas (déjà pas pour les employés, alors pour le "public"...). J'ai bien vu passer quelques photos, mais ça ressemble à n'importe quelle autre salle informatique de grande ampleur, avec des robots à bandes en plus (les données sont archivées sur bandes).
Bref, tout ça pour dire que des volumes de donnée de cette ampleur, ça se rencontre vraiment, dans des usages quotidiens. Bon, évidemment, maintenant, on est en train de parler de taille des données alors que les messages initiaux parlaient de taille de l'executable, c'est pas exactement la même chose. -- Rémi Moyen "Malgré les apparences, le temps est très varié à Nancy : pluie, nuages, neige, brouillard, grêle, ..."
Manu
Rakotomandimby (R12y) Mihamina wrote:
Et vous utilisez quoi comme "architecture" de stockage? Je veux dire... c'est pas avec des disques IDE qu'on s'en sortira pour de telles quantités... non? parceque j'imagine que 3To de fichiers génégé, c'est sans compter ce qu'il a fallu lire-effacer-ecrire pour enfin arriver à ces 3 To... non?
A ce propos, quelqu'un aurait-il déjà essayer ENBD (http://www.it.uc3m.es/~ptb/nbd/) pour réaliser à moindre coût (avec un ensemble de machine) un pseudo disque dur RAID. Est-ce qu'en faisant du stripping, voire en utilisant plusieurs cartes réseau 1Gb on peut arriver à quelquechose de plus performant qu'un disque local en SCSI (par exemple) ?
PS: désolé je ne sais pas comment relancer un nouveau fil.
Rakotomandimby (R12y) Mihamina wrote:
Et vous utilisez quoi comme "architecture" de stockage? Je veux dire...
c'est pas avec des disques IDE qu'on s'en sortira pour de telles
quantités... non? parceque j'imagine que 3To de fichiers génégé, c'est
sans compter ce qu'il a fallu lire-effacer-ecrire pour enfin arriver à
ces 3 To... non?
A ce propos, quelqu'un aurait-il déjà essayer ENBD
(http://www.it.uc3m.es/~ptb/nbd/) pour réaliser à moindre coût (avec un
ensemble de machine) un pseudo disque dur RAID.
Est-ce qu'en faisant du stripping, voire en utilisant plusieurs cartes
réseau 1Gb on peut arriver à quelquechose de plus performant qu'un
disque local en SCSI (par exemple) ?
PS: désolé je ne sais pas comment relancer un nouveau fil.
Et vous utilisez quoi comme "architecture" de stockage? Je veux dire... c'est pas avec des disques IDE qu'on s'en sortira pour de telles quantités... non? parceque j'imagine que 3To de fichiers génégé, c'est sans compter ce qu'il a fallu lire-effacer-ecrire pour enfin arriver à ces 3 To... non?
A ce propos, quelqu'un aurait-il déjà essayer ENBD (http://www.it.uc3m.es/~ptb/nbd/) pour réaliser à moindre coût (avec un ensemble de machine) un pseudo disque dur RAID. Est-ce qu'en faisant du stripping, voire en utilisant plusieurs cartes réseau 1Gb on peut arriver à quelquechose de plus performant qu'un disque local en SCSI (par exemple) ?
PS: désolé je ne sais pas comment relancer un nouveau fil.
DoMiNiX
Rakotomandimby (R12y) Mihamina wrote:
( Thu, 24 Mar 2005 09:32:02 +0100 ) Deepthroat :
de la PIV,
PIV ?
Programmation In Vitro
(on enferme le programmeur dans une bulle en verre et il ne ressort que lorsqu'il a tapé 1 Go de code)
-- dominix
Rakotomandimby (R12y) Mihamina wrote:
( Thu, 24 Mar 2005 09:32:02 +0100 ) Deepthroat :
de la PIV,
PIV ?
Programmation In Vitro
(on enferme le programmeur dans une bulle en verre et
il ne ressort que lorsqu'il a tapé 1 Go de code)
