Jean-Bernard Yata a écrit :giggzounet wrote:giggzounet a écrit :Bonjour,
bon la question revient souvent, mais je repose qd meme en esperant qu
une ame charitable m offre ses lumieres :
au boulot, on m a nomme bien malgre moi le specialiste informatique
(ben
oui, j utilise un truc noir en tapant des commandes bizarres alors je m
y connais...). On me demande de mettre en place un systeme de backup
pour le labo dans le lequel je bosse (et je n y connais rien).
En gros, l uni nous propose un espace de stockage accessible par NFS et
SMB. Quels logiciels libres sont utilisables dans ce cas ? a part
rsync...si possible (je n ai rien contre mais je connais deja le
nom et
j en cherche d autres).
De plus mon chef veut que ca marche du premier coup (j en ris d
avance),
donc si vous avez des explications qui vont bien avec...ben je prends!
Merci d avance et desole pour ce HS. mais bon il y en a bcp qui gere de
grosses backup parmi vous...alors je demande qd meme
Bye
Guillaume
Et me revoilà avec ma backup! bon j'ai laissé tomber la backup avec
mount samba. En effet cela nécessitait d'avoir le password écrit en
clair qq part...et ça c'est po super bon.
Le centre informatique de l'uni a mis à notre disposition une machine
virtuelle avec un linux dessus. et comme je suis admin, je peux faire ce
que je veux! :) et ça c'est cool. En gros sur ce linux, l'espace de
stockage est monté et accessible. Et je peux accéder à la machine
virtuelle par ssh la vie est belle! Pour l'instant pour ma backup je
fais :
0 1 * * * rsync -aqz --delete /homelocal/monhome/ -e ssh
machinevirtuelle:backup/
et ça marche!
Par contre petite question y a t il moyen d'optimiser cette ligne de
commande ? Que ça aille plus vite ? ou alors que ça prenne qu'un morceau
de la bande passante ?
Merci d'avance
Guillaume
Bonjour Guillaume,
2 elements interessants à ajouter :
le mode fuzzy de rsync --fuzzy qui va te permettre une recursivite d
analyse performante sur les dossiers embarquant enormement de petits
fichiers.
le mode partial : permettant un bon resume.
Tu as egalement la limitation de bande passante via bwlimit mais a l
usage c est d une perfomance relative. Il vaut mieux preferer une
limitaion iptable ou mieux encore , tc (traffic control).
Pour tes retours d informations, utilise egelament le mode verbeux
niveau deux -vv + le switch de statistiques --stats. en redirigeant ta
sortie standard dans soit dans un log (genre logger -t ) ou bien
diretement dans un fichier txt que tu peux t envoyer par mail.
J'espere t avoir aidé (un peu!)
JB
Perso, je pense qu'il y a un outil qui tire tout le parti de rsync avec
des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
Jean-Bernard Yata a écrit :
giggzounet wrote:
giggzounet a écrit :
Bonjour,
bon la question revient souvent, mais je repose qd meme en esperant qu
une ame charitable m offre ses lumieres :
au boulot, on m a nomme bien malgre moi le specialiste informatique
(ben
oui, j utilise un truc noir en tapant des commandes bizarres alors je m
y connais...). On me demande de mettre en place un systeme de backup
pour le labo dans le lequel je bosse (et je n y connais rien).
En gros, l uni nous propose un espace de stockage accessible par NFS et
SMB. Quels logiciels libres sont utilisables dans ce cas ? a part
rsync...si possible (je n ai rien contre mais je connais deja le
nom et
j en cherche d autres).
De plus mon chef veut que ca marche du premier coup (j en ris d
avance),
donc si vous avez des explications qui vont bien avec...ben je prends!
Merci d avance et desole pour ce HS. mais bon il y en a bcp qui gere de
grosses backup parmi vous...alors je demande qd meme
Bye
Guillaume
Et me revoilà avec ma backup! bon j'ai laissé tomber la backup avec
mount samba. En effet cela nécessitait d'avoir le password écrit en
clair qq part...et ça c'est po super bon.
Le centre informatique de l'uni a mis à notre disposition une machine
virtuelle avec un linux dessus. et comme je suis admin, je peux faire ce
que je veux! :) et ça c'est cool. En gros sur ce linux, l'espace de
stockage est monté et accessible. Et je peux accéder à la machine
virtuelle par ssh la vie est belle! Pour l'instant pour ma backup je
fais :
0 1 * * * rsync -aqz --delete /homelocal/monhome/ -e ssh
machinevirtuelle:backup/
et ça marche!
Par contre petite question y a t il moyen d'optimiser cette ligne de
commande ? Que ça aille plus vite ? ou alors que ça prenne qu'un morceau
de la bande passante ?
Merci d'avance
Guillaume
Bonjour Guillaume,
2 elements interessants à ajouter :
le mode fuzzy de rsync --fuzzy qui va te permettre une recursivite d
analyse performante sur les dossiers embarquant enormement de petits
fichiers.
le mode partial : permettant un bon resume.
Tu as egalement la limitation de bande passante via bwlimit mais a l
usage c est d une perfomance relative. Il vaut mieux preferer une
limitaion iptable ou mieux encore , tc (traffic control).
Pour tes retours d informations, utilise egelament le mode verbeux
niveau deux -vv + le switch de statistiques --stats. en redirigeant ta
sortie standard dans soit dans un log (genre logger -t ) ou bien
diretement dans un fichier txt que tu peux t envoyer par mail.
J'espere t avoir aidé (un peu!)
JB
Perso, je pense qu'il y a un outil qui tire tout le parti de rsync avec
des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
Jean-Bernard Yata a écrit :giggzounet wrote:giggzounet a écrit :Bonjour,
bon la question revient souvent, mais je repose qd meme en esperant qu
une ame charitable m offre ses lumieres :
au boulot, on m a nomme bien malgre moi le specialiste informatique
(ben
oui, j utilise un truc noir en tapant des commandes bizarres alors je m
y connais...). On me demande de mettre en place un systeme de backup
pour le labo dans le lequel je bosse (et je n y connais rien).
En gros, l uni nous propose un espace de stockage accessible par NFS et
SMB. Quels logiciels libres sont utilisables dans ce cas ? a part
rsync...si possible (je n ai rien contre mais je connais deja le
nom et
j en cherche d autres).
De plus mon chef veut que ca marche du premier coup (j en ris d
avance),
donc si vous avez des explications qui vont bien avec...ben je prends!
Merci d avance et desole pour ce HS. mais bon il y en a bcp qui gere de
grosses backup parmi vous...alors je demande qd meme
Bye
Guillaume
Et me revoilà avec ma backup! bon j'ai laissé tomber la backup avec
mount samba. En effet cela nécessitait d'avoir le password écrit en
clair qq part...et ça c'est po super bon.
Le centre informatique de l'uni a mis à notre disposition une machine
virtuelle avec un linux dessus. et comme je suis admin, je peux faire ce
que je veux! :) et ça c'est cool. En gros sur ce linux, l'espace de
stockage est monté et accessible. Et je peux accéder à la machine
virtuelle par ssh la vie est belle! Pour l'instant pour ma backup je
fais :
0 1 * * * rsync -aqz --delete /homelocal/monhome/ -e ssh
machinevirtuelle:backup/
et ça marche!
Par contre petite question y a t il moyen d'optimiser cette ligne de
commande ? Que ça aille plus vite ? ou alors que ça prenne qu'un morceau
de la bande passante ?
Merci d'avance
Guillaume
Bonjour Guillaume,
2 elements interessants à ajouter :
le mode fuzzy de rsync --fuzzy qui va te permettre une recursivite d
analyse performante sur les dossiers embarquant enormement de petits
fichiers.
le mode partial : permettant un bon resume.
Tu as egalement la limitation de bande passante via bwlimit mais a l
usage c est d une perfomance relative. Il vaut mieux preferer une
limitaion iptable ou mieux encore , tc (traffic control).
Pour tes retours d informations, utilise egelament le mode verbeux
niveau deux -vv + le switch de statistiques --stats. en redirigeant ta
sortie standard dans soit dans un log (genre logger -t ) ou bien
diretement dans un fichier txt que tu peux t envoyer par mail.
J'espere t avoir aidé (un peu!)
JB
Perso, je pense qu'il y a un outil qui tire tout le parti de rsync avec
des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
Perso, je pense qu'il y a un outil qui tire tout le parti de rsync
avec des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
Perso, je pense qu'il y a un outil qui tire tout le parti de rsync
avec des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
Perso, je pense qu'il y a un outil qui tire tout le parti de rsync
avec des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
>>>
J'espere t avoir aidé (un peu!)
JB
Perso, je pense qu'il y a un outil qui tire tout le parti de rsync avec
des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
Ok. d'abord j'apprends à me servir de rsync. et ensuite pourquoi pas
passer à un truc plus puissant! merci du conseil!
Bye
>>>
J'espere t avoir aidé (un peu!)
JB
Perso, je pense qu'il y a un outil qui tire tout le parti de rsync avec
des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
Ok. d'abord j'apprends à me servir de rsync. et ensuite pourquoi pas
passer à un truc plus puissant! merci du conseil!
Bye
>>>
J'espere t avoir aidé (un peu!)
JB
Perso, je pense qu'il y a un outil qui tire tout le parti de rsync avec
des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
Ok. d'abord j'apprends à me servir de rsync. et ensuite pourquoi pas
passer à un truc plus puissant! merci du conseil!
Bye
Bonjour,
Le jeudi 24 septembre 2009, Laurent Lesage a écrit...Perso, je pense qu'il y a un outil qui tire tout le parti de rsync
avec des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
backuppc semble fonctionner un peu pareillement (après avoir lu le
dirvish-howto en diagonale). Dans son cas, ce serait donc la vm qui
hébergerait le backuppc.
Bonjour,
Le jeudi 24 septembre 2009, Laurent Lesage a écrit...
Perso, je pense qu'il y a un outil qui tire tout le parti de rsync
avec des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
backuppc semble fonctionner un peu pareillement (après avoir lu le
dirvish-howto en diagonale). Dans son cas, ce serait donc la vm qui
hébergerait le backuppc.
Bonjour,
Le jeudi 24 septembre 2009, Laurent Lesage a écrit...Perso, je pense qu'il y a un outil qui tire tout le parti de rsync
avec des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
backuppc semble fonctionner un peu pareillement (après avoir lu le
dirvish-howto en diagonale). Dans son cas, ce serait donc la vm qui
hébergerait le backuppc.
[snip]
>>
>> Et me revoilà avec ma backup! bon j'ai laissé tomber la backup avec
>> mount samba. En effet cela nécessitait d'avoir le password écrit en
>> clair qq part...et ça c'est po super bon.
>>
>> Le centre informatique de l'uni a mis à notre disposition une machine
>> virtuelle avec un linux dessus. et comme je suis admin, je peux faire ce
>> que je veux! :) et ça c'est cool. En gros sur ce linux, l'espace de
>> stockage est monté et accessible. Et je peux accéder à la machine
>> virtuelle par ssh la vie est belle! Pour l'instant pour ma backup je
>> fais :
>> 0 1 * * * rsync -aqz --delete /homelocal/monhome/ -e ssh
>> machinevirtuelle:backup/
[snip]
>>
>> Et me revoilà avec ma backup! bon j'ai laissé tomber la backup avec
>> mount samba. En effet cela nécessitait d'avoir le password écrit en
>> clair qq part...et ça c'est po super bon.
>>
>> Le centre informatique de l'uni a mis à notre disposition une machine
>> virtuelle avec un linux dessus. et comme je suis admin, je peux faire ce
>> que je veux! :) et ça c'est cool. En gros sur ce linux, l'espace de
>> stockage est monté et accessible. Et je peux accéder à la machine
>> virtuelle par ssh la vie est belle! Pour l'instant pour ma backup je
>> fais :
>> 0 1 * * * rsync -aqz --delete /homelocal/monhome/ -e ssh
>> machinevirtuelle:backup/
[snip]
>>
>> Et me revoilà avec ma backup! bon j'ai laissé tomber la backup avec
>> mount samba. En effet cela nécessitait d'avoir le password écrit en
>> clair qq part...et ça c'est po super bon.
>>
>> Le centre informatique de l'uni a mis à notre disposition une machine
>> virtuelle avec un linux dessus. et comme je suis admin, je peux faire ce
>> que je veux! :) et ça c'est cool. En gros sur ce linux, l'espace de
>> stockage est monté et accessible. Et je peux accéder à la machine
>> virtuelle par ssh la vie est belle! Pour l'instant pour ma backup je
>> fais :
>> 0 1 * * * rsync -aqz --delete /homelocal/monhome/ -e ssh
>> machinevirtuelle:backup/
>backuppc semble fonctionner un peu pareillement (après avoir lu le
>dirvish-howto en diagonale). Dans son cas, ce serait donc la vm qui
>hébergerait le backuppc.
>
Je te plussoie. D'autant que BackupPC permet aux utilisateurs de
gérer eux-mêmes leurs récuparations.
>backuppc semble fonctionner un peu pareillement (après avoir lu le
>dirvish-howto en diagonale). Dans son cas, ce serait donc la vm qui
>hébergerait le backuppc.
>
Je te plussoie. D'autant que BackupPC permet aux utilisateurs de
gérer eux-mêmes leurs récuparations.
>backuppc semble fonctionner un peu pareillement (après avoir lu le
>dirvish-howto en diagonale). Dans son cas, ce serait donc la vm qui
>hébergerait le backuppc.
>
Je te plussoie. D'autant que BackupPC permet aux utilisateurs de
gérer eux-mêmes leurs récuparations.
0 1 * * * rsync -aqz --delete /homelocal/monhome/ -e ssh
machinevirtuelle:backup/
Tu peux virer le -e ssh car rsync sait analyser le deuxieme argument
pour voir si c'est une machine distante :)
0 1 * * * rsync -aqz --delete /homelocal/monhome/ -e ssh
machinevirtuelle:backup/
Tu peux virer le -e ssh car rsync sait analyser le deuxieme argument
pour voir si c'est une machine distante :)
0 1 * * * rsync -aqz --delete /homelocal/monhome/ -e ssh
machinevirtuelle:backup/
Tu peux virer le -e ssh car rsync sait analyser le deuxieme argument
pour voir si c'est une machine distante :)
Le centre informatique de l'uni a mis à notre disposition une machine
virtuelle avec un linux dessus. et comme je suis admin, je peux faire ce
que je veux! :) et ça c'est cool. En gros sur ce linux, l'espace de
stockage est monté et accessible. Et je peux accéder à la machine
virtuelle par ssh la vie est belle! Pour l'instant pour ma backup je fais :
0 1 * * * rsync -aqz --delete /homelocal/monhome/ -e ssh
machinevirtuelle:backup/
et ça marche!
Par contre petite question y a t il moyen d'optimiser cette ligne de
commande ? Que ça aille plus vite ? ou alors que ça prenne qu'un morceau
de la bande passante ?
Le centre informatique de l'uni a mis à notre disposition une machine
virtuelle avec un linux dessus. et comme je suis admin, je peux faire ce
que je veux! :) et ça c'est cool. En gros sur ce linux, l'espace de
stockage est monté et accessible. Et je peux accéder à la machine
virtuelle par ssh la vie est belle! Pour l'instant pour ma backup je fais :
0 1 * * * rsync -aqz --delete /homelocal/monhome/ -e ssh
machinevirtuelle:backup/
et ça marche!
Par contre petite question y a t il moyen d'optimiser cette ligne de
commande ? Que ça aille plus vite ? ou alors que ça prenne qu'un morceau
de la bande passante ?
Le centre informatique de l'uni a mis à notre disposition une machine
virtuelle avec un linux dessus. et comme je suis admin, je peux faire ce
que je veux! :) et ça c'est cool. En gros sur ce linux, l'espace de
stockage est monté et accessible. Et je peux accéder à la machine
virtuelle par ssh la vie est belle! Pour l'instant pour ma backup je fais :
0 1 * * * rsync -aqz --delete /homelocal/monhome/ -e ssh
machinevirtuelle:backup/
et ça marche!
Par contre petite question y a t il moyen d'optimiser cette ligne de
commande ? Que ça aille plus vite ? ou alors que ça prenne qu'un morceau
de la bande passante ?
> Perso, je pense qu'il y a un outil qui tire tout le parti de rsync avec
des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
> Perso, je pense qu'il y a un outil qui tire tout le parti de rsync avec
des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
> Perso, je pense qu'il y a un outil qui tire tout le parti de rsync avec
des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
Perso, je pense qu'il y a un outil qui tire tout le parti de rsync
avec des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
J'ai essayé pas mal de produit :
- rsnapshot : marche bien mais la création de l'arboresence, cp -al,
prends un temps fou sur les gros dossiers (plusieurs tera). Je sauve mes
serveurs avec ca et j'ai splitté le fichier de conf en n fichier, un par
serveur.
- backuppc : marche bien pour les postes utilisateurs. Quand on dis que
l'utilisateur peut récupérer ses données, c'est sous l'hypothèse une
machine = un utilisateur. Sinon, c'est assez lent, je ne vois pas
l'intérêt d'avoir des backup incrémental et complet, cela me semble un
concept dépassé. Sur des dossiers de plusieurs Tera sur une machine
distante (autre bout de la ville mais connexion Renater), backuppc
tourne, tourne mais au bout de quinze jours, il n'a toujours pas finit !
Donc pour moi, cela ne marche pas sur les gros volumes. Je l'utilise
donc sur des volumes inférieurs à 500Go. backuppc a une fonctionalité de
fusion inter machine si les fichiers sont indentiques, c'est très mis en
avant mais pour moi, cela n'a pas un intérêt fou car le gros des volumes
sont les données des utilisateurs et ils ont très peu de fichier en commun.
- rdiff-backup : j'avais beaucoup d'espoir en lui surtout qu'on évite
le 'cp -al' de rsnapshot (et de dirvish). En plus, il y a un mode fuse
qui permet de monter les dossiers de backup et donc d'avoir une
arborescence presque aussi sympa qu'avec rsnapshot (D'ailleurs, cela
manque a backuppc). Cependant, mon premier essai en grandeur nature a eu
lieu entre une etch et une lenny et la, je me fait jetté car les
versions ne sont pas les mêmes et il veut les mêmes versions des deux
cotés. Donc pour moi, le produit est du coup à éliminer de suite ce qui
est vraiment dommage.
- rsync : Au final, pour les seules grosses partitions de plusieurs
Téra, je fait un bête rysnc qui marche, est capable de reprise et au
final, on arrive a faire passer 10To entre deux sites en y prenant le
temps mais en étant assurer que ce qui est déjà fait est fait. En plus,
la mise à jour de la synchro même sur plusieurs Téra est assez rapide.
gabriel
Perso, je pense qu'il y a un outil qui tire tout le parti de rsync
avec des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
J'ai essayé pas mal de produit :
- rsnapshot : marche bien mais la création de l'arboresence, cp -al,
prends un temps fou sur les gros dossiers (plusieurs tera). Je sauve mes
serveurs avec ca et j'ai splitté le fichier de conf en n fichier, un par
serveur.
- backuppc : marche bien pour les postes utilisateurs. Quand on dis que
l'utilisateur peut récupérer ses données, c'est sous l'hypothèse une
machine = un utilisateur. Sinon, c'est assez lent, je ne vois pas
l'intérêt d'avoir des backup incrémental et complet, cela me semble un
concept dépassé. Sur des dossiers de plusieurs Tera sur une machine
distante (autre bout de la ville mais connexion Renater), backuppc
tourne, tourne mais au bout de quinze jours, il n'a toujours pas finit !
Donc pour moi, cela ne marche pas sur les gros volumes. Je l'utilise
donc sur des volumes inférieurs à 500Go. backuppc a une fonctionalité de
fusion inter machine si les fichiers sont indentiques, c'est très mis en
avant mais pour moi, cela n'a pas un intérêt fou car le gros des volumes
sont les données des utilisateurs et ils ont très peu de fichier en commun.
- rdiff-backup : j'avais beaucoup d'espoir en lui surtout qu'on évite
le 'cp -al' de rsnapshot (et de dirvish). En plus, il y a un mode fuse
qui permet de monter les dossiers de backup et donc d'avoir une
arborescence presque aussi sympa qu'avec rsnapshot (D'ailleurs, cela
manque a backuppc). Cependant, mon premier essai en grandeur nature a eu
lieu entre une etch et une lenny et la, je me fait jetté car les
versions ne sont pas les mêmes et il veut les mêmes versions des deux
cotés. Donc pour moi, le produit est du coup à éliminer de suite ce qui
est vraiment dommage.
- rsync : Au final, pour les seules grosses partitions de plusieurs
Téra, je fait un bête rysnc qui marche, est capable de reprise et au
final, on arrive a faire passer 10To entre deux sites en y prenant le
temps mais en étant assurer que ce qui est déjà fait est fait. En plus,
la mise à jour de la synchro même sur plusieurs Téra est assez rapide.
gabriel
Perso, je pense qu'il y a un outil qui tire tout le parti de rsync
avec des logs et de l'automatisation etc... C'est dirvish. Voir
http://www.dirvish.org/
J'ai essayé pas mal de produit :
- rsnapshot : marche bien mais la création de l'arboresence, cp -al,
prends un temps fou sur les gros dossiers (plusieurs tera). Je sauve mes
serveurs avec ca et j'ai splitté le fichier de conf en n fichier, un par
serveur.
- backuppc : marche bien pour les postes utilisateurs. Quand on dis que
l'utilisateur peut récupérer ses données, c'est sous l'hypothèse une
machine = un utilisateur. Sinon, c'est assez lent, je ne vois pas
l'intérêt d'avoir des backup incrémental et complet, cela me semble un
concept dépassé. Sur des dossiers de plusieurs Tera sur une machine
distante (autre bout de la ville mais connexion Renater), backuppc
tourne, tourne mais au bout de quinze jours, il n'a toujours pas finit !
Donc pour moi, cela ne marche pas sur les gros volumes. Je l'utilise
donc sur des volumes inférieurs à 500Go. backuppc a une fonctionalité de
fusion inter machine si les fichiers sont indentiques, c'est très mis en
avant mais pour moi, cela n'a pas un intérêt fou car le gros des volumes
sont les données des utilisateurs et ils ont très peu de fichier en commun.
- rdiff-backup : j'avais beaucoup d'espoir en lui surtout qu'on évite
le 'cp -al' de rsnapshot (et de dirvish). En plus, il y a un mode fuse
qui permet de monter les dossiers de backup et donc d'avoir une
arborescence presque aussi sympa qu'avec rsnapshot (D'ailleurs, cela
manque a backuppc). Cependant, mon premier essai en grandeur nature a eu
lieu entre une etch et une lenny et la, je me fait jetté car les
versions ne sont pas les mêmes et il veut les mêmes versions des deux
cotés. Donc pour moi, le produit est du coup à éliminer de suite ce qui
est vraiment dommage.
- rsync : Au final, pour les seules grosses partitions de plusieurs
Téra, je fait un bête rysnc qui marche, est capable de reprise et au
final, on arrive a faire passer 10To entre deux sites en y prenant le
temps mais en étant assurer que ce qui est déjà fait est fait. En plus,
la mise à jour de la synchro même sur plusieurs Téra est assez rapide.
gabriel
