Twitter iPhone pliant OnePlus 11 PS5 Disney+ Orange Livebox Windows 11

cluster

6 réponses
Avatar
philippe monroux
Bonjour,

J'ai une tâche lourde à réaliser et dispose de 3 machines sous debian.

Quelqu'un connaît-il une solution pas trop compliquée à mettre en
½uvre pour faire un cluster et accélérer la réalisation de la tâche.

Bien sûr je peux chercher mais si quelqu'un a une expérience sur le
rapport complexité/efficacité cela me ferait gagner du temps

merci par avance.
--
Philippe Monroux
E 55.3 S 21.5
http://zygomaths.pagespro-orange.fr/index.html

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org

6 réponses

Avatar
Mathieu JANIN
Le jeudi 08 janvier 2009, philippe monroux a écrit :
Bonjour,


Bonjour.

J'ai une tâche lourde à réaliser et dispose de 3 machines sous debi an.

Quelqu'un connaît-il une solution pas trop compliquée à mettre en
½uvre pour faire un cluster et accélérer la réalisation de la t âche.


Oui. Faire une série de batchs découpant la tâche et les répartir s ur les
différentes machines avant de centraliser à la main les résultats peu t être
une solution de parallèlisme pas trés lourde à mettre en place, et qu i ne
prend pas forcément plus de temps à faire que la mise en place d'une so lution
qui fait le même boulot automatiquement.

Bien sûr je peux chercher mais si quelqu'un a une expérience sur le
rapport complexité/efficacité cela me ferait gagner du temps

merci par avance.
--
Philippe Monroux
E 55.3 S 21.5
http://zygomaths.pagespro-orange.fr/index.html



AMA, ça dépend surtout de quel type de tâche tu veux répartir: il y a des
solutions "généralistes" de clustering, mais il y a aussi des solutions
spécifiques de redondance, de tolérance aux pannes et plusieurs solutio ns de
répartition plus ou moins spécifiques, sans en passer forcément par u n pur
cluster (qui ne devient nécessaire d'aprés moi que quand on a besoin d' un bus
de données mutualisé rapide entre les calculateurs).

Tu devrais plutot dire si c'est une tâche de calcul, si ça risque d'ê tre
gourmand en lecture/écriture de données, si le pipeline de traitement e st de
type en série ou si c'est du parallèle, etc... Tous genre de détails
permettant de t'aiguiller vers une solution adaptée.
Un autre détail intéressant est de savoir si c'est pour une opération "one
shot", ou si ça va se répèter.

++, MATT

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
christian daré
Bonjour,

J ai réalisé derniérement une installation de Sun Grid Engine sur d es
machines lenny.
L installation à partir des sources s effectue rapidemment : on trouve
plein de docs sur le site de sun.
A partir des paquets debian , c est rapide mais finalement , on comprend
moins bien comment cela marche !
C' est idéal pour répartir des travaux sous forme de batch .
Ensuite j ai installé ganglia pour avoir des logs graphiques du cluster .

Cordialement,


philippe monroux a écrit :
Bonjour,

J'ai une tâche lourde à réaliser et dispose de 3 machines sous de bian.

Quelqu'un connaît-il une solution pas trop compliquée à mettre en
½uvre pour faire un cluster et accélérer la réalisation de la t âche.

Bien sûr je peux chercher mais si quelqu'un a une expérience sur le
rapport complexité/efficacité cela me ferait gagner du temps

merci par avance.




--

==> Pour tout service d'ASSISTANCE, y compris de sécurité, UTILIS EZ:
http://ent.univ-brest.fr onglet "Assistance utilisateur"
-------------------------------------------------------------------
Christian Dare
CRI/Departement Electronique tel CRI :02-98-01-82-39
6 Avenue le Gorgeu tel STAPS :02-98-01-82-60
C.S. 93837 fax CRI :02-98-01-70-30
29238 Brest Cedex 3
-------------------------------------------------------------------

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
jerome moliere
------=_Part_163034_6287074.1231412222545
Content-Type: text/plain; charset=WINDOWS-1252
Content-Transfer-Encoding: quoted-printable
Content-Disposition: inline

Bonjour Philippe,
je pense que la question initiale avant de savoir quel outil utiliser et de
savoir qu'elle est cette tâche et à quel point elle est parallelisable ?
Typiquement s'il y a de la base de données, tu risques aller au devant de
gros soucis de locks en parallelisant ou idem avec des manipulations de
fichiers....Si c'est du calcul lourd, cela peut surement mieux se passer en
effet,algo genre Monaco ou autre....
Dans le cas de manipulation physique de données (fichiers/bases) des
schedulers peuvent se charger de la répartition sur diverses machines,mai s
je ne sais pas s'il existe des equivalents Open Source à des ETL type Gen io.
en espérant avoir pu t'aider
Jerome

Le 8 janvier 2009 04:53, philippe monroux a écrit :

Bonjour,

J'ai une tâche lourde à réaliser et dispose de 3 machines sous debi an.

Quelqu'un connaît-il une solution pas trop compliquée à mettre en
œuvre pour faire un cluster et accélérer la réalisation de la t âche.

Bien sûr je peux chercher mais si quelqu'un a une expérience sur le
rapport complexité/efficacité cela me ferait gagner du temps

merci par avance.
--
Philippe Monroux
E 55.3 S 21.5
http://zygomaths.pagespro-orange.fr/index.html

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact







--
Jerome Moliere - Mentor/J
http://romjethoughts.blogspot.com/
auteur Eyrolles

------=_Part_163034_6287074.1231412222545
Content-Type: text/html; charset=WINDOWS-1252
Content-Transfer-Encoding: quoted-printable
Content-Disposition: inline

Bonjour Philippe,<br>je pense que la question initiale avant de savoir quel outil utiliser et de savoir qu&#39;elle est cette tâche et à quel poin t elle est parallelisable ?<br>Typiquement s&#39;il y a de la base de donn ées, tu risques aller au devant de gros soucis de locks en parallelisant ou idem avec des manipulations de fichiers....Si c&#39;est du calcul lourd, cela peut surement mieux se passer en effet,algo genre Monaco ou autre.... <br>
Dans le cas de manipulation physique de données (fichiers/bases) des sche dulers peuvent se charger de la répartition sur diverses machines,mais je ne sais pas s&#39;il existe des equivalents Open Source à des ETL type G enio.<br>
en espérant avoir pu t&#39;aider<br>Jerome<br><br><div class="gmail_quo te">Le 8 janvier 2009 04:53, philippe monroux <span dir="ltr">&lt;<a href ="mailto:"></a>&gt;</span> a écri t :<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">Bonjour,<br>
<br>
J&#39;ai une tâche lourde à réaliser et dispose de 3 machines sous de bian.<br>
<br>
Quelqu&#39;un connaît-il une solution pas trop compliquée à mettre en <br>
œuvre pour faire un cluster et accélérer la réalisation de la tâc he.<br>
<br>
Bien sûr je peux chercher mais si quelqu&#39;un a une expérience sur le <br>
rapport complexité/efficacité cela me ferait gagner du temps<br>
<br>
merci par avance.<br>
--<br>
Philippe Monroux<br>
E 55.3 S 21.5<br>
<a href="http://zygomaths.pagespro-orange.fr/index.html" target="_blank ">http://zygomaths.pagespro-orange.fr/index.html</a><br>
<font color="#888888"><br>
--<br>
Lisez la FAQ de la liste avant de poser une question :<br>
<a href="http://wiki.debian.org/DebFrFrenchLists" target="_blank">http: //wiki.debian.org/DebFrFrenchLists</a><br>
Vous pouvez aussi ajouter le mot ``spam&#39;&#39; dans vos champs &quot;Fro m&quot; et<br>
&quot;Reply-To:&quot;<br>
<br>
To UNSUBSCRIBE, email to <a href="mailto: .debian.org"></a><br>
with a subject of &quot;unsubscribe&quot;. Trouble? Contact <a href="mail to:"></a><br>
<br>
</font></blockquote></div><br><br clear="all"><br>-- <br>Jerome Moliere - Mentor/J<br><a href="http://romjethoughts.blogspot.com/">http://romjetho ughts.blogspot.com/</a><br>auteur Eyrolles<br>

------=_Part_163034_6287074.1231412222545--

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
philippe monroux
De (from) (von) :

Bonjour Philippe,
je pense que la question initiale avant de savoir quel outil utiliser et de
savoir qu'elle est cette tâche et à quel point elle est parallelisable ?
Typiquement s'il y a de la base de données, tu risques aller au devant de
gros soucis de locks en parallelisant ou idem avec des manipulations de
fichiers....Si c'est du calcul lourd, cela peut surement mieux se passer en
effet,algo genre Monaco ou autre....
Dans le cas de manipulation physique de données (fichiers/bases) des
schedulers peuvent se charger de la répartition sur diverses machines,mais
je ne sais pas s'il existe des equivalents Open Source à des ETL type Genio.
en espérant avoir pu t'aider
Jerome



En fait je viens de recevoir en cadeau une caméra numérique HD et mon
but est la conversion pour en faire profiter la famille.

Bon l'idée des batchs me parait pas mal. Mais si j'ai pas mal de
petit bouts de films ça risque d'être pénible de découper. Je peux
faire un script remarquez. Maintenant je vais examiner les différentes
soluces proposées sachant qu'il y a pas mal de calculs.

Merci.

--
Philippe Monroux
E 55.3 S 21.5
http://zygomaths.pagespro-orange.fr/index.html

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
jerome moliere
------=_Part_163237_3444171.1231413875995
Content-Type: text/plain; charset=ISO-8859-1
Content-Transfer-Encoding: quoted-printable
Content-Disposition: inline

Le 8 janvier 2009 12:13, philippe monroux a écrit :

De (from) (von) :

> Bonjour Philippe,
> je pense que la question initiale avant de savoir quel outil utiliser e t
de
> savoir qu'elle est cette tâche et à quel point elle est parallelisa ble ?
> Typiquement s'il y a de la base de données, tu risques aller au devan t de
> gros soucis de locks en parallelisant ou idem avec des manipulations de
> fichiers....Si c'est du calcul lourd, cela peut surement mieux se passe r
en
> effet,algo genre Monaco ou autre....
> Dans le cas de manipulation physique de données (fichiers/bases) des
> schedulers peuvent se charger de la répartition sur diverses
machines,mais
> je ne sais pas s'il existe des equivalents Open Source à des ETL type
Genio.
> en espérant avoir pu t'aider
> Jerome

En fait je viens de recevoir en cadeau une caméra numérique HD et mon
but est la conversion pour en faire profiter la famille.

Bon l'idée des batchs me parait pas mal. Mais si j'ai pas mal de
petit bouts de films ça risque d'être pénible de découper. Je peu x
faire un script remarquez. Maintenant je vais examiner les différentes
soluces proposées sachant qu'il y a pas mal de calculs.





a noter que j'avais oublie l'espace d'un instant (honte à moi) l'excellen t
ETL Open Source (en java) Talend...


--
Jerome Moliere - Mentor/J
http://romjethoughts.blogspot.com/
auteur Eyrolles

------=_Part_163237_3444171.1231413875995
Content-Type: text/html; charset=ISO-8859-1
Content-Transfer-Encoding: quoted-printable
Content-Disposition: inline

<br><br><div class="gmail_quote">Le 8 janvier 2009 12:13, philippe monrou x <span dir="ltr">&lt;<a href="mailto:"> ange.fr</a>&gt;</span> a écrit :<br><blockquote class="gmail_quote" sty le="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
De (from) (von) &lt;<a href="mailto:">jerome.moli </a>&gt; :<br>
<div class="Ih2E3d"><br>
&gt; Bonjour Philippe,<br>
&gt; je pense que la question initiale avant de savoir quel outil utiliser et de<br>
&gt; savoir qu&#39;elle est cette tâche et à quel point elle est parall elisable ?<br>
&gt; Typiquement s&#39;il y a de la base de données, tu risques aller au devant de<br>
&gt; gros soucis de locks en parallelisant ou idem avec des manipulations d e<br>
&gt; fichiers....Si c&#39;est du calcul lourd, cela peut surement mieux se passer en<br>
&gt; effet,algo genre Monaco ou autre....<br>
&gt; Dans le cas de manipulation physique de données (fichiers/bases) des <br>
&gt; schedulers peuvent se charger de la répartition sur diverses machine s,mais<br>
&gt; je ne sais pas s&#39;il existe des equivalents Open Source à des ETL type Genio.<br>
&gt; en espérant avoir pu t&#39;aider<br>
&gt; Jerome<br>
<br>
</div>En fait je viens de recevoir en cadeau une caméra numérique HD et mon<br>
but est la conversion pour en faire profiter la famille.<br>
<br>
Bon l&#39;idée des batchs me parait pas mal. Mais si j&#39;ai pas mal de< br>
petit bouts de films ça risque d&#39;être pénible de découper. Je p eux<br>
faire un script remarquez. Maintenant je vais examiner les différentes<br >
soluces proposées sachant qu&#39;il y a pas mal de calculs.<br>
</blockquote><div><br><br>a noter que j&#39;avais oublie l&#39;espace d&#39 ;un instant (honte à moi) l&#39;excellent ETL Open Source (en java) Talen d...<br><br></div></div><br>-- <br>Jerome Moliere - Mentor/J<br><a href=" http://romjethoughts.blogspot.com/">http://romjethoughts.blogspot.com/</a>< br>
auteur Eyrolles<br>

------=_Part_163237_3444171.1231413875995--

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Guillaume
philippe monroux wrote:
Bonjour,

J'ai une tâche lourde à réaliser et dispose de 3 machines sous debian.

Quelqu'un connaît-il une solution pas trop compliquée à mettre en
1/2uvre pour faire un cluster et accélérer la réalisation de la tâche.

Bien sûr je peux chercher mais si quelqu'un a une expérience sur le
rapport complexité/efficacité cela me ferait gagner du temps

merci par avance.



Déjà si les CPU sont multicoeurs, en parallélisant les tâches sur la
même machine tu obtiendras un bonne amélioration (pas de goulot
d'étranglement par le LAN).

Bonne soirée,
GL

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact