Synchroniser deux serveurs avec plusieurs milliers de fichiers
15 réponses
JustMe
Bonsoir
J'aurai bien utilisé rsync mais "The usual reason for "out of memory"
when running rsync is that you are transferring a _very_ large number
of files. The size of the files doesn't matter, only the total number
of files."
Dans le message <news:, *JustMe* tapota sur f.c.o.l.configuration :
Bonsoir,
J'aurai bien utilisé rsync mais "The usual reason for "out of memory" when running rsync is that you are transferring a _very_ large number of files. The size of the files doesn't matter, only the total number of files."
Existe t'il un utilitaire un peu plus "smart" ?
Je verais bien une solution avec (s)tar et son option incrémentielle le tout à travers une liaison ssh.
-- Sébastien Monbrun aka TiChou
Dans le message <news:mn.ecb17d650c322b36.51095@merci.beaucoup.con>,
*JustMe* tapota sur f.c.o.l.configuration :
Bonsoir,
J'aurai bien utilisé rsync mais "The usual reason for "out of memory" when
running rsync is that you are transferring a _very_ large number of files.
The size of the files doesn't matter, only the total number of files."
Existe t'il un utilitaire un peu plus "smart" ?
Je verais bien une solution avec (s)tar et son option incrémentielle le tout
à travers une liaison ssh.
Dans le message <news:, *JustMe* tapota sur f.c.o.l.configuration :
Bonsoir,
J'aurai bien utilisé rsync mais "The usual reason for "out of memory" when running rsync is that you are transferring a _very_ large number of files. The size of the files doesn't matter, only the total number of files."
Existe t'il un utilitaire un peu plus "smart" ?
Je verais bien une solution avec (s)tar et son option incrémentielle le tout à travers une liaison ssh.
-- Sébastien Monbrun aka TiChou
Fabien LE LEZ
On Mon, 29 May 2006 20:01:11 +0200, JustMe :
J'aurai bien utilisé rsync
N'hésite pas à expliquer ce que tu cherches à faire dans le corps de ton message, qu'on n'ait pas à aller pêcher l'information dans les headers.
"The usual reason for "out of memory" when running rsync is that you are transferring a _very_ large number of files. The size of the files doesn't matter, only the total number of files."
Combien de fichiers essaies-tu de transférer ? Je fais un rsync sur un demi-million de fichiers sans rencontrer le moindre problème.
Existe t'il un utilitaire un peu plus "smart" ?
As-tu essayé de transférer répertoire par répertoire ?
On Mon, 29 May 2006 20:01:11 +0200, JustMe
<pasdespam@merci.beaucoup.con>:
J'aurai bien utilisé rsync
N'hésite pas à expliquer ce que tu cherches à faire dans le corps de
ton message, qu'on n'ait pas à aller pêcher l'information dans les
headers.
"The usual reason for "out of memory"
when running rsync is that you are transferring a _very_ large number
of files. The size of the files doesn't matter, only the total number
of files."
Combien de fichiers essaies-tu de transférer ?
Je fais un rsync sur un demi-million de fichiers sans rencontrer le
moindre problème.
Existe t'il un utilitaire un peu plus "smart" ?
As-tu essayé de transférer répertoire par répertoire ?
N'hésite pas à expliquer ce que tu cherches à faire dans le corps de ton message, qu'on n'ait pas à aller pêcher l'information dans les headers.
"The usual reason for "out of memory" when running rsync is that you are transferring a _very_ large number of files. The size of the files doesn't matter, only the total number of files."
Combien de fichiers essaies-tu de transférer ? Je fais un rsync sur un demi-million de fichiers sans rencontrer le moindre problème.
Existe t'il un utilitaire un peu plus "smart" ?
As-tu essayé de transférer répertoire par répertoire ?
JustMe
Fabien LE LEZ a écrit
On Mon, 29 May 2006 20:01:11 +0200, JustMe :
J'aurai bien utilisé rsync
N'hésite pas à expliquer ce que tu cherches à faire dans le corps de ton message, qu'on n'ait pas à aller pêcher l'information dans les headers.
:-D Désolé
"The usual reason for "out of memory" when running rsync is that you are transferring a _very_ large number of files. The size of the files doesn't matter, only the total number of files."
Combien de fichiers essaies-tu de transférer ? Je fais un rsync sur un demi-million de fichiers sans rencontrer le moindre problème.
Tu as probablement bcp plus de memoire que moi :-(
Existe t'il un utilitaire un peu plus "smart" ?
As-tu essayé de transférer répertoire par répertoire ?
J'ai aussi un nombre enorme de répertoires :-(
Fabien LE LEZ a écrit
On Mon, 29 May 2006 20:01:11 +0200, JustMe
<pasdespam@merci.beaucoup.con>:
J'aurai bien utilisé rsync
N'hésite pas à expliquer ce que tu cherches à faire dans le corps de
ton message, qu'on n'ait pas à aller pêcher l'information dans les
headers.
:-D Désolé
"The usual reason for "out of memory"
when running rsync is that you are transferring a _very_ large number
of files. The size of the files doesn't matter, only the total number
of files."
Combien de fichiers essaies-tu de transférer ?
Je fais un rsync sur un demi-million de fichiers sans rencontrer le
moindre problème.
Tu as probablement bcp plus de memoire que moi :-(
Existe t'il un utilitaire un peu plus "smart" ?
As-tu essayé de transférer répertoire par répertoire ?
N'hésite pas à expliquer ce que tu cherches à faire dans le corps de ton message, qu'on n'ait pas à aller pêcher l'information dans les headers.
:-D Désolé
"The usual reason for "out of memory" when running rsync is that you are transferring a _very_ large number of files. The size of the files doesn't matter, only the total number of files."
Combien de fichiers essaies-tu de transférer ? Je fais un rsync sur un demi-million de fichiers sans rencontrer le moindre problème.
Tu as probablement bcp plus de memoire que moi :-(
Existe t'il un utilitaire un peu plus "smart" ?
As-tu essayé de transférer répertoire par répertoire ?
J'ai aussi un nombre enorme de répertoires :-(
Fabien LE LEZ
On Mon, 29 May 2006 20:22:53 +0200, JustMe :
Je fais un rsync sur un demi-million de fichiers sans rencontrer le moindre problème.
Tu as probablement bcp plus de memoire que moi :-(
Combien de fichiers veux-tu transférer ?
Je viens de tester : un rsync (incrémental il est vrai) de 220679 fichiers et répertoires occupe 16 Mo en mémoire vive.
On Mon, 29 May 2006 20:22:53 +0200, JustMe
<pasdespam@merci.beaucoup.con>:
Je fais un rsync sur un demi-million de fichiers sans rencontrer le
moindre problème.
Tu as probablement bcp plus de memoire que moi :-(
Combien de fichiers veux-tu transférer ?
Je viens de tester : un rsync (incrémental il est vrai) de 220679
fichiers et répertoires occupe 16 Mo en mémoire vive.
Tu as probablement bcp plus de memoire que moi :-(
C'est possible. Quelle quantité de mémoire (RAM physique et mémoire virtuelle) as-tu ?
Arol
"JustMe" a écrit dans le message de news:
J'aurai bien utilisé rsync mais "The usual reason for "out of memory" when running rsync is that you are transferring a _very_ large number of files. The size of the files doesn't matter, only the total number of files."
Bref, ca merde
config p200 avec 48Mo de ram (50 Mo de swap). rsync avec 500 000 fichiers et 3 000 repertoires, ça marche sans aucun problème.
"JustMe" a écrit dans le message de news:
J'aurai bien utilisé rsync mais "The usual reason for "out of memory"
when running rsync is that you are transferring a _very_ large number
of files. The size of the files doesn't matter, only the total number
of files."
Bref, ca merde
config p200 avec 48Mo de ram (50 Mo de swap).
rsync avec 500 000 fichiers et 3 000 repertoires, ça marche sans aucun
problème.
J'aurai bien utilisé rsync mais "The usual reason for "out of memory" when running rsync is that you are transferring a _very_ large number of files. The size of the files doesn't matter, only the total number of files."
Bref, ca merde
config p200 avec 48Mo de ram (50 Mo de swap). rsync avec 500 000 fichiers et 3 000 repertoires, ça marche sans aucun problème.
anaxagore
Arol wrote:
"JustMe" a écrit dans le message de news:
J'aurai bien utilisé rsync mais "The usual reason for "out of memory" when running rsync is that you are transferring a _very_ large number of files. The size of the files doesn't matter, only the total number of files."
Est-ce que "unison" ferait l'affaire?
Arol wrote:
"JustMe" a écrit dans le message de news:
J'aurai bien utilisé rsync mais "The usual reason for "out of memory"
when running rsync is that you are transferring a _very_ large number
of files. The size of the files doesn't matter, only the total number
of files."
J'aurai bien utilisé rsync mais "The usual reason for "out of memory" when running rsync is that you are transferring a _very_ large number of files. The size of the files doesn't matter, only the total number of files."
Est-ce que "unison" ferait l'affaire?
Arol
"anaxagore" a écrit dans le message de news:
Est-ce que "unison" ferait l'affaire?
Je connais pas, mais rsync est terriblement efficace surtout avec ses options --delete --files-from --exclude-from Il fait ce que je veux avec quelques options et rapidement, donc pas besoin de faire un benchmark avec les scp et autres unison. D'ailleurs rsync est tellement bien, qu'il a été porté sous windows en utilisant cygwin http://www.itefix.no/phpws/index.php?module=pagemaster&PAGE_user_op=view_pag e&PAGE_id=6&MMN_position#:23
Je connais pas, mais rsync est terriblement efficace surtout avec ses
options --delete --files-from --exclude-from
Il fait ce que je veux avec quelques options et rapidement, donc pas besoin
de faire un benchmark avec les scp et autres unison.
D'ailleurs rsync est tellement bien, qu'il a été porté sous windows en
utilisant cygwin
http://www.itefix.no/phpws/index.php?module=pagemaster&PAGE_user_op=view_pag
e&PAGE_id=6&MMN_position#:23
Je connais pas, mais rsync est terriblement efficace surtout avec ses options --delete --files-from --exclude-from Il fait ce que je veux avec quelques options et rapidement, donc pas besoin de faire un benchmark avec les scp et autres unison. D'ailleurs rsync est tellement bien, qu'il a été porté sous windows en utilisant cygwin http://www.itefix.no/phpws/index.php?module=pagemaster&PAGE_user_op=view_pag e&PAGE_id=6&MMN_position#:23
