OVH Cloud OVH Cloud

récuperer une distrib ftp

10 réponses
Avatar
Jean
Bonjour,

Peut-on utiliser rsync pour récupérer l'arborescence d'une distribution
(faire un miroir).
Parce que jusque là, avec ftp, bonjour la galère : déconnexions non gérées,
fichiers transférés partiellement, fichiers vérolés (??), links par
récupérés, etc.

Un conseil sur un outil pour faire ce genre d'opération ?

Merci, Jean

10 réponses

Avatar
Jean-Francois Billaud
scripsit Jean :

Bonjour,


Bonjour,

Peut-on utiliser rsync pour récupérer l'arborescence d'une distribution
(faire un miroir).
Parce que jusque là, avec ftp, bonjour la galère : déconnexions non gérées,
fichiers transférés partiellement, fichiers vérolés (??), links par
récupérés, etc.

Un conseil sur un outil pour faire ce genre d'opération ?


fmirror :
http://the.wiretapped.net/mirrors/fmirror/

Exemple :
fmirror -s ftp.lip6.fr -l /home/ftp/pub/rfc -r /pub/rfc -u ftp -p


JFB

--
All syllogisms have three parts, therefore this is not a syllogism.

Avatar
J. Mayer
On Thu, 04 Dec 2003 21:18:15 +0100, Jean-Francois Billaud wrote:

scripsit Jean :

Bonjour,


Bonjour,

Peut-on utiliser rsync pour récupérer l'arborescence d'une distribution
(faire un miroir).
Parce que jusque là, avec ftp, bonjour la galère : déconnexions non gérées,
fichiers transférés partiellement, fichiers vérolés (??), links par
récupérés, etc.

Un conseil sur un outil pour faire ce genre d'opération ?


fmirror :
http://the.wiretapped.net/mirrors/fmirror/

Exemple :
fmirror -s ftp.lip6.fr -l /home/ftp/pub/rfc -r /pub/rfc -u ftp -p


JFB


ou wget, tout simplement...


Avatar
motodashillllllll
J. Mayer a écrit:
On Thu, 04 Dec 2003 21:18:15 +0100, Jean-Francois Billaud wrote:


scripsit Jean :


Bonjour,


Bonjour,


Peut-on utiliser rsync pour récupérer l'arborescence d'une distribution
(faire un miroir).
Parce que jusque là, avec ftp, bonjour la galère : déconnexions non gérées,
fichiers transférés partiellement, fichiers vérolés (??), links par
récupérés, etc.

Un conseil sur un outil pour faire ce genre d'opération ?


fmirror :
http://the.wiretapped.net/mirrors/fmirror/

Exemple :
fmirror -s ftp.lip6.fr -l /home/ftp/pub/rfc -r /pub/rfc -u ftp -p


JFB



ou wget, tout simplement...


Tout a fait, et quand la connexion a ete coupee, pour continuer, faire
wget -c






Avatar
J. Mayer
On Fri, 05 Dec 2003 10:27:46 +0100, motodashilllllll wrote:



J. Mayer a écrit:
On Thu, 04 Dec 2003 21:18:15 +0100, Jean-Francois Billaud wrote:


scripsit Jean :


Bonjour,


Bonjour,


Peut-on utiliser rsync pour récupérer l'arborescence d'une distribution
(faire un miroir).
Parce que jusque là, avec ftp, bonjour la galère : déconnexions non gérées,
fichiers transférés partiellement, fichiers vérolés (??), links par
récupérés, etc.

Un conseil sur un outil pour faire ce genre d'opération ?


fmirror :
http://the.wiretapped.net/mirrors/fmirror/

Exemple :
fmirror -s ftp.lip6.fr -l /home/ftp/pub/rfc -r /pub/rfc -u ftp -p


JFB



ou wget, tout simplement...


Tout a fait, et quand la connexion a ete coupee, pour continuer, faire
wget -c


Oui, et ça marche récursivement sur les sites, en faisant du
globbing (pattern matching) au besoin et en suivant les liens...
Un outil surpuissant, quand on le maitrise un peu !
Et standard, ce qui ne gache rien :=)
Il mériterait de s'inviter dans POSIX...




Avatar
Jean
"J. Mayer" a écrit dans le message de
news:

ou wget, tout simplement...



Oui, ça a l'air pas mal sauf que :

- Je n'ai pas réussi à supprimer l'arborescence supérieure, ex : wget
ftp://x.y.org/pub/linux/distrib/9.0 et je me retrouve avec
./pub/linux/9.0/... J'ai essayé avec -nH, sans effet. Je veux juste qu'il me
crée un répertoire 9.0 sans tout le pédigré !

- Il n'a pas supporté le test de coupure réseau, j'ai coupé la connexion
internet en plein transfert et il est resté figé advita eternam.

Jean

Avatar
Galkine
On Fri, 05 Dec 2003 12:45:05 +0100, Jean wrote:

"J. Mayer" a écrit dans le message de
news:

ou wget, tout simplement...



Oui, ça a l'air pas mal sauf que :

- Je n'ai pas réussi à supprimer l'arborescence supérieure, ex : wget
ftp://x.y.org/pub/linux/distrib/9.0 et je me retrouve avec
./pub/linux/9.0/... J'ai essayé avec -nH, sans effet. Je veux juste qu'il me
crée un répertoire 9.0 sans tout le pédigré !
wget -c -nH --cut-dirs=3 ftp://x.y.org/pub/linux/distrib/9

- Il n'a pas supporté le test de coupure réseau, j'ai coupé la connexion
internet en plein transfert et il est resté figé advita eternam.
control c pour areter le programme puis tu le relance



Avatar
J. Mayer
On Fri, 05 Dec 2003 20:35:58 +0100, Galkine wrote:

On Fri, 05 Dec 2003 12:45:05 +0100, Jean wrote:

"J. Mayer" a écrit dans le message de
news:

ou wget, tout simplement...



Oui, ça a l'air pas mal sauf que :

- Il n'a pas supporté le test de coupure réseau, j'ai coupé la connexion
internet en plein transfert et il est resté figé advita eternam.
control c pour areter le programme puis tu le relance



Je confirme: wget supporte très bien les coupures réseaux,
tu peux régler les timeout, le nombre de retry, ...
et arrêter ou reprendre les téléchargements comme tu en as envie...



Avatar
Jean
"J. Mayer" a écrit dans le message de
news:
Je confirme: wget supporte très bien les coupures réseaux,
tu peux régler les timeout, le nombre de retry, ...
et arrêter ou reprendre les téléchargements comme tu en as envie...



Ce que je voudrais surtout, c'est qu'il se débrouille tout seul la nuit.

Cf. : on lance un download le soir et le lendemain matin, on constate qu'il
s'est planté au bout d'une demi-heure.

Avatar
Jean-Francois Billaud
scripsit Jean :

Je confirme: wget supporte très bien les coupures réseaux,
tu peux régler les timeout, le nombre de retry, ...
et arrêter ou reprendre les téléchargements comme tu en as envie...


Ce que je voudrais surtout, c'est qu'il se débrouille tout seul la nuit.

Cf. : on lance un download le soir et le lendemain matin, on constate qu'il
s'est planté au bout d'une demi-heure.


while ! (wget ........ ) ; do : ; done

Plus ça rate plus ça a de chances de réussir.

Voir la page man de bash et celle de crontab.


JFB (Roussel's Fan Club)

--
All syllogisms have three parts, therefore this is not a syllogism.


Avatar
J. Mayer
On Sat, 06 Dec 2003 12:22:18 +0100, Jean wrote:


"J. Mayer" a écrit dans le message de
news:
Je confirme: wget supporte très bien les coupures réseaux,
tu peux régler les timeout, le nombre de retry, ...
et arrêter ou reprendre les téléchargements comme tu en as envie...



Ce que je voudrais surtout, c'est qu'il se débrouille tout seul la nuit.

Cf. : on lance un download le soir et le lendemain matin, on constate qu'il
s'est planté au bout d'une demi-heure.


Comme je le disais, tu peux paramétrer le nombre de tentatives
pour chaque fichier, les délais de timeout, le delai entre les
tentatives, etc...