OVH Cloud OVH Cloud

Avec le sujet c'est mieux : Rsync et le système de fichiers qui va bien

21 réponses
Avatar
mahashakti
------=_Part_13183_2000641226.1410880018542
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: quoted-printable

Bonjour

Je sollicite votre avis avant de me lancer: quel syst=C3=A8me de fichiers c=
hoisir pour une sauvegarde r=C3=A9guli=C3=A8re vers un disque dur externe ?=
Le tout avec rsync. =C2=A0Et pas mal de fichiers. Je cherche avant tout la=
solidit=C3=A9 et les possibilit=C3=A9s de r=C3=A9cup=C3=A9ration en cas de=
crash.=20
Cordialement

Mahashakti89=C2=A0=20

------=_Part_13183_2000641226.1410880018542
Content-Type: text/html; charset=UTF-8
Content-Transfer-Encoding: quoted-printable

<p>Bonjour<br /><br />Je sollicite votre avis avant de me lancer: quel syst=
=C3=A8me de fichiers choisir pour une sauvegarde r=C3=A9guli=C3=A8re vers u=
n disque dur externe ? Le tout avec rsync. =C2=A0Et pas mal de fichiers. Je=
cherche avant tout la solidit=C3=A9 et les possibilit=C3=A9s de r=C3=A9cup=
=C3=A9ration en cas de crash. <br />Cordialement<br /><br />Mahashakti89=C2=
=A0 </p>
------=_Part_13183_2000641226.1410880018542--

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers debian-user-french-REQUEST@lists.debian.org
En cas de soucis, contactez EN ANGLAIS listmaster@lists.debian.org
Archive: https://lists.debian.org/1625624303.13184.1410880018542.JavaMail.www@wwinf1g23

10 réponses

1 2 3
Avatar
Frédéric MASSOT
Le 16/09/2014 17:06, mahashakti a écrit :
Bonjour

Je sollicite votre avis avant de me lancer: quel système de fichiers
choisir pour une sauvegarde régulière vers un disque dur externe ? Le
tout avec rsync. Et pas mal de fichiers. Je cherche avant tout la
solidité et les possibilités de récupération en cas de crash.



Pour la sauvegarde des serveurs j'utilise BackupPC
http://backuppc.sourceforge.net

Sur le serveur de backup, le volume logique qui stock les sauvegardes
utilise XFS. J'avais utilisé Ext3 mais j'ai eu des problèmes avec le
nombre maximum d'inodes.


--
============================================= | FRÉDÉRIC MASSOT |
| http://www.juliana-multimedia.com |
| mailto: |
| +33.(0)2.97.54.77.94 +33.(0)6.67.19.95.69 |
==========================Þbian=GNU/Linux==
--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
Avatar
Philippe Gras
Le 17 sept. 14 à 12:38, Frédéric MASSOT a écrit :

Le 16/09/2014 17:06, mahashakti a écrit :
Bonjour

Je sollicite votre avis avant de me lancer: quel système de fichiers
choisir pour une sauvegarde régulière vers un disque dur externe ? Le
tout avec rsync. Et pas mal de fichiers. Je cherche avant tout la
solidité et les possibilités de récupération en cas de crash.



Pour la sauvegarde des serveurs j'utilise BackupPC http://
backuppc.sourceforge.net

Sur le serveur de backup, le volume logique qui stock les
sauvegardes utilise XFS. J'avais utilisé Ext3 mais j'ai eu des
problèmes avec le nombre maximum d'inodes.



J'utilise backup-manager. On a le choix entre tous les types de
sauvegarde.



--
======================== ======================
| FRÉDÉRIC MASSOT |
| http://www.juliana-multimedia.com |
| mailto: |
| +33.(0)2.97.54.77.94 +33.(0)6.67.19.95.69 |
======================== ==Þbian=GNU/Linux===

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet
"unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
multimedia.com




--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
Avatar
Sébastien Dinot
Dominique Asselineau a écrit :
rdiff-backup est quand-même packagé Wheezy. Peut-être ne l'est-il plus
sur Jessie ?



Il est maintenu en tant que paquet par Debian :

https://tracker.debian.org/pkg/rdiff-backup

Mais le développement est arrêté depuis 2009 :

http://www.nongnu.org/rdiff-backup/

Le problème à plus ou moins long terme est l'abandon du support de
Python 2.7 au profit des souches 3.x : il faudra alors que quelqu'un se
dévoue pour migrer le code.

Sébastien

--
Sébastien Dinot,
http://sebastien.dinot.free.fr/
Ne goûtez pas au logiciel libre, vous ne pourriez plus vous en passer !

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
Avatar
Sébastien Dinot
Gaël a écrit :
Intéressant, je n'avais pas saisi cette différence.
Sais-tu comment fonctionne rsync ?
en cherchant un peu je vois que ça fait de l'incrémental, même avec
les hardlinks. Un fichier modifié est re-écrit en entier, j'ai
l'impression.



Primo, il faut se méfier des termes employés. Par exemple, l'auteur de
l'article :

http://earlruby.org/2013/05/creating-differential-backups-with-hard-links-and-rsync/

parle de sauvegarde différentielle mais c'est une sauvegarde
incrémentale qu'il décrit.

http://en.wikipedia.org/wiki/Incremental_backup
http://en.wikipedia.org/wiki/Differential_backup

À ma connaissance, rsync effectue des sauvegardes incrémentales mais il
transfère les données d'une machine à l'autre de manière peu ou prou
différentielle (i.e. il ne transfère que les blocs qui ont changé).

Sébastien

--
Sébastien Dinot,
http://sebastien.dinot.free.fr/
Ne goûtez pas au logiciel libre, vous ne pourriez plus vous en passer !

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
Avatar
Frédéric MASSOT
Le 17/09/2014 12:38, Frédéric MASSOT a écrit :
Le 16/09/2014 17:06, mahashakti a écrit :
Bonjour

Je sollicite votre avis avant de me lancer: quel système de fichiers
choisir pour une sauvegarde régulière vers un disque dur externe ? Le
tout avec rsync. Et pas mal de fichiers. Je cherche avant tout la
solidité et les possibilités de récupération en cas de crash.



Pour la sauvegarde des serveurs j'utilise BackupPC
http://backuppc.sourceforge.net

Sur le serveur de backup, le volume logique qui stock les sauvegardes
utilise XFS. J'avais utilisé Ext3 mais j'ai eu des problèmes avec le
nombre maximum d'inodes.



J'ai oublié de précisé, BackupPC utilise au choix rsync, rsync+ssh, FTP,
SMB ou TAR.


--
============================================= | FRÉDÉRIC MASSOT |
| http://www.juliana-multimedia.com |
| mailto: |
| +33.(0)2.97.54.77.94 +33.(0)6.67.19.95.69 |
==========================Þbian=GNU/Linux==
--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
Avatar
Sébastien Dinot
Salut Patrice,

phep a écrit :
Oui, mais c'est aussi l'intérêt ! On n'a pas à craindre qu'une
corruption d'un diff fiche par terre l'ensemble des versions d'un
fichier.



Ah... l'idéal inatteignable de la sauvegarde : historisé, rapide,
compact, robuste et chiffré. Je crains qu'on ne puisse pas tout avoir.
Il faut faire des choix qui dépendent des priorités et des
contraintes. :)

Pour ma part, mes exigences principales sont :

- Historiser les sauvegardes sur une période confortable (au boulot, un
an glissant, à la maison... je n'ai encore rien supprimé depuis que
j'utilise rdiff-backup).

- Minimiser les données transférées (pour cause de sauvegarde distante
et de débit montant qui plafonne à 110 ko/s). À ce titre, devoir faire
de temps à autres des sauvegardes complètes est rédhibitoire.

- Accéder aisément à la dernière sauvegarde qui, par expérience, est
celle que j'utilise le plus souvent.

L'argument sur la taille est bien sûr tout à fait justifié (et
l'exemple d'une parfaite pertinence) mais pour ma part j'ai préféré
joué la sécurité et donc choisi rsnapshot pour sauvegarder les VM LXC
du boulot.



J'utilise beaucoup de VM mais la volumétrie des images disque fait que
j'ai abandonné tout espoir de les sauvegarder de manière régulière,
d'autant plus qu'avec une VM, la sauvegarde différentielle perd
drastiquement en efficacité : pour l'outil de sauvegarde, l'image disque
n'est qu'un blob binaire et il ne peut savoir de l'extérieur si un
secteur est occupé ou non. Du coup, il suffit que ce secteur ait changé
pour qu'il le sauvegarde, même si ce secteur ne contient rien au moement
de la sauvegarde. Exemple extrême mais réel avec une VM utilisée pour du
test unitaire et de la génération de paquet :

1. Je récupère les sources de l'application et les données de test
(500 Mo de sources pour l'appli + 3,6 Go de données).

1. Je compile dans la VM notre application, ce qui produit 14 Go de
fichiers intermédiaires ou finaux en mode debug.

2. Je déroule la batterie de 2900 tests unitaires qui produisent à leur
tour moult fichiers de données et de logs.

3. Comme tout passe, je lance la génération des paquets (re-compilation
en mode release) et je pousse des paquets sur notre référentiel de
paquets.

4. Je supprime toute l'arborescence.

Si je mets de côté ce qui s'est passé entre temps au niveau système (par
exemple, les écritures dans /var/log), je peux dire que j'en suis revenu
au point de la veille. L'état intrinsèque de la VM n'a pas bougé. Pour
autant, l'outil de sauvegarde va détecter l'équivalent de plusieurs
dizaines de Go de changement dans le fichier image de la VM et va donc
me produire un « diff » gigantesque.

Pour cette raison, je fais tourner rdiff-backup dans les VM et sur le
serveur hébergeant les VM mais pour de dernier, je lui demande d'ignorer
les images de disques des VM.

On peut cependant pondérer (voire ignorer) ce risque en dédoublant les
sauvegardes comme tu l'indiques !



J'ai fait court mais en réalité, j'ai trois supports de sauvegarde. Mes
données (photos, textes, code) valent bien plus à mes yeux que les
3 x 100 euros que peuvent coûter des disques.

Juste une question : est-ce que le calcul du diff (de rdiff-backup)
est moins consommateur de temps pour une sauvegarde sur disque externe
(pas de réseau) qu'une duplication "à la rsnapshot" ?



À moins que les volumes à transférer ne soient importants en regard de
la bande passante disponible, rdiff-backup est bien moins efficace
lorsqu'on effectue une sauvegarde sur un disque externe local que sur
une machine « distante ». En effet, pour calculer le différentiel, il
doit lire l'intégralité du fichier précédemment sauvegardé. Si tu
utilises un disque externe, c'est l'instance locale de rdiff-backup qui
se charge de cette lecture (et qui commence donc par lire le disque
externe). Si tu utilises une machine tierce, rdiff-backup lance une
instance sur cette seconde machine qui travaille en parallèle de la
première et calcule les sommes de contrôle sur le serveur de sauvegarde
pendant que ton instance locale travaille sur les fichiers de ta
machine.

D'ailleurs, je conseille vivement des disques externes disposant d'une
interface USB3, ça vous change la vie. :)

Et puisqu'on y est, une deuxième question : comment se comporte
rdiff-backup sur les fichiers spare (genre machines virtuelles par
exemple) ?



Je ne sais pas ce que tu entends par « fichier spare » dans ce cas.

Sébastien


--
Sébastien Dinot,
http://sebastien.dinot.free.fr/
Ne goûtez pas au logiciel libre, vous ne pourriez plus vous en passer !

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
Avatar
Bertrand Orvoine
On Wed, Sep 17, 2014 at 02:21:28PM +0200, Sébastien Dinot wrote:
Salut Patrice,

phep a écrit :
> Oui, mais c'est aussi l'intérêt ! On n'a pas à craindre qu'une
> corruption d'un diff fiche par terre l'ensemble des versions d'un
> fichier.

Ah... l'idéal inatteignable de la sauvegarde : historisé, rapide,
compact, robuste et chiffré. Je crains qu'on ne puisse pas tout avoir.
Il faut faire des choix qui dépendent des priorités et des
contraintes. :)

Pour ma part, mes exigences principales sont :

- Historiser les sauvegardes sur une période confortable (au boulot, un
an glissant, à la maison... je n'ai encore rien supprimé depuis que
j'utilise rdiff-backup).

- Minimiser les données transférées (pour cause de sauvegarde distante
et de débit montant qui plafonne à 110 ko/s). À ce titre, devoir faire
de temps à autres des sauvegardes complètes est rédhibitoire.

- Accéder aisément à la dernière sauvegarde qui, par expérience, est
celle que j'utilise le plus souvent.

> L'argument sur la taille est bien sûr tout à fait justifié (et
> l'exemple d'une parfaite pertinence) mais pour ma part j'ai préféré
> joué la sécurité et donc choisi rsnapshot pour sauvegarder les VM LXC
> du boulot.

J'utilise beaucoup de VM mais la volumétrie des images disque fait que
j'ai abandonné tout espoir de les sauvegarder de manière régulière,
d'autant plus qu'avec une VM, la sauvegarde différentielle perd
drastiquement en efficacité : pour l'outil de sauvegarde, l'image disque
n'est qu'un blob binaire et il ne peut savoir de l'extérieur si un
secteur est occupé ou non. Du coup, il suffit que ce secteur ait changé
pour qu'il le sauvegarde, même si ce secteur ne contient rien au moement
de la sauvegarde. Exemple extrême mais réel avec une VM utilisée pour du
test unitaire et de la génération de paquet :

1. Je récupère les sources de l'application et les données de test
(500 Mo de sources pour l'appli + 3,6 Go de données).

1. Je compile dans la VM notre application, ce qui produit 14 Go de
fichiers intermédiaires ou finaux en mode debug.

2. Je déroule la batterie de 2900 tests unitaires qui produisent à leur
tour moult fichiers de données et de logs.

3. Comme tout passe, je lance la génération des paquets (re-compilation
en mode release) et je pousse des paquets sur notre référentiel de
paquets.

4. Je supprime toute l'arborescence.

Si je mets de côté ce qui s'est passé entre temps au niveau système (par
exemple, les écritures dans /var/log), je peux dire que j'en suis revenu
au point de la veille. L'état intrinsèque de la VM n'a pas bougé. Pour
autant, l'outil de sauvegarde va détecter l'équivalent de plusieurs
dizaines de Go de changement dans le fichier image de la VM et va donc
me produire un « diff » gigantesque.

Pour cette raison, je fais tourner rdiff-backup dans les VM et sur le
serveur hébergeant les VM mais pour de dernier, je lui demande d'ignorer
les images de disques des VM.

> On peut cependant pondérer (voire ignorer) ce risque en dédoublant les
> sauvegardes comme tu l'indiques !

J'ai fait court mais en réalité, j'ai trois supports de sauvegarde. Mes
données (photos, textes, code) valent bien plus à mes yeux que les
3 x 100 euros que peuvent coûter des disques.

> Juste une question : est-ce que le calcul du diff (de rdiff-backup)
> est moins consommateur de temps pour une sauvegarde sur disque externe
> (pas de réseau) qu'une duplication "à la rsnapshot" ?

À moins que les volumes à transférer ne soient importants en regard de
la bande passante disponible, rdiff-backup est bien moins efficace
lorsqu'on effectue une sauvegarde sur un disque externe local que sur
une machine « distante ». En effet, pour calculer le différentiel, il
doit lire l'intégralité du fichier précédemment sauvegardé. Si tu
utilises un disque externe, c'est l'instance locale de rdiff-backup qui
se charge de cette lecture (et qui commence donc par lire le disque
externe). Si tu utilises une machine tierce, rdiff-backup lance une
instance sur cette seconde machine qui travaille en parallèle de la
première et calcule les sommes de contrôle sur le serveur de sauvegarde
pendant que ton instance locale travaille sur les fichiers de ta
machine.

D'ailleurs, je conseille vivement des disques externes disposant d'une
interface USB3, ça vous change la vie. :)

> Et puisqu'on y est, une deuxième question : comment se comporte
> rdiff-backup sur les fichiers spare (genre machines virtuelles par
> exemple) ?

Je ne sais pas ce que tu entends par « fichier spare » dans ce cas.



je suppose qu'il voulait dire "sparse" file ?


Sébastien


--
Sébastien Dinot,
http://sebastien.dinot.free.fr/
Ne goûtez pas au logiciel libre, vous ne pourriez plus vous en passer !

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/





--
Bertrand Orvoine

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
Avatar
Sylvain L. Sauvage
Le mercredi 17 septembre 2014, 14:21:28 Sébastien Dinot a écr it
:
[…]
J'utilise beaucoup de VM mais la volumétrie des images disque



Bataille personnelle : s/volumétrie/taille/
(car, contrairement à ce que certains voudraient, « volumé trie »
ne signifie pas « volume » avec plus de lettres pour faire pl us
intelligent mais _mesure_ ou _méthode de mesure_ du volume ou de
la taille)

[…]
Exemple extrême mais réel avec une VM utilisée pour du test
unitaire et de la génération de paquet :[…]



Dans ce genre de cas, tu peux utiliser les fonctions
instantané/snapshot des VM : tu sais que veux retourner à une
version « vierge » de ta VM, donc tu travailles sur une copie
jetable de celle-ci.

D’où aussi l’avantage des chroots ou des contene urs (LXC…) qui
permettent d’utiliser facilement les snapshots et copie sur
écriture (COW) des FS pour les images (mutualisation d’une base
commune, versionnage, tests…).

[…]
Je ne sais pas ce que tu entends par « fichier spare » dans ce
cas.



Sans doute « sparse file » : fichier à trous. Tout
secteur/bloc qui est à zéro n’est pas réellement alloué sur le
disque. L’allocation se fait quand l’espace est utilisà ©.
Et quand on copie un fichier à trous avec le mauvais outil ou
sans la bonne option, on crée des blocs vides dans la copie et
on bouffe de la place pour rien (GNU cp sait correctement copier
les fichiers à trous).

--
Sylvain Sauvage

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
Avatar
Sébastien Dinot
Sylvain L. Sauvage a écrit :
Bataille personnelle : s/volumétrie/taille/
(car, contrairement à ce que certains voudraient, « volumétrie »
ne signifie pas « volume » avec plus de lettres pour faire plus
intelligent mais _mesure_ ou _méthode de mesure_ du volume ou de
la taille)



J'en prends note d'autant plus volontiers qu'à la réflexion, ça me
paraît évident. Je me coucherai moins bête ce soir. :)

Dans ce genre de cas, tu peux utiliser les fonctions
instantané/snapshot des VM : tu sais que veux retourner à une version
« vierge » de ta VM, donc tu travailles sur une copie jetable de
celle-ci.



J'utilise en effet des instantanés sur les VM que je suis en train de
préparer en vue de l'intégration continue. Mais celle dont j'ai parlé
dans mon précédent message est une VM de test plus générique. J'ai pris
cet exemple parce qu'il est extrême mais on peut l'appliquer avec des
changements de taille moindre à toutes les VM. L'expérience montre que
du différentiel sur des VM qui vivent est contre-productif, j'invite
tout le monde à en faire l'expérience par lui-même.

Sans doute « sparse file » : fichier à trous.



Dans ce cas, je ne sais pas répondre à la question. Primo, je n'ai
jamais fait attention à la chose. Secundo, j'utilise des VM qui « vivent
beaucoup » et ont tendance à provoquer une extension rapide de l'image
disque à sa taille maximale. Même si, vu de l'intérieur, le disque n'est
plein qu'à 35 %, de l'extérieur, c'est un blob binaire bien bruité qui
se compresse très mal.

Sébastien

--
Sébastien Dinot,
http://sebastien.dinot.free.fr/
Ne goûtez pas au logiciel libre, vous ne pourriez plus vous en passer !

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
Avatar
Daniel Caillibaud
Le 17/09/14 à 14:21, Sébastien Dinot a écri t :
SD> pour l'outil de sauvegarde, l'image disque
SD> n'est qu'un blob binaire

Ça dépend de ton système de virtualisation / isolation.

Avec openvz (sans ploop), je fais un lvm snapshot (avec un flush & lock sur tous les mysql
qu'il trouve dans toutes les vm du lv juste avant, pour avoir des fichiers raw cohérents) puis
un rsync de private/xx qui est l'ensemble des fichiers de la VM (on accèd e à son filesystem
car c'est juste du mount --bind).

Avec les liens durs (j'ai utilisé rsnapshot pendant des années, je fais maintenant la même
chose avec un script maison pour plus de souplesse dans ce qui doit tourner ), j'arrive à avoir
pas mal d'historique pour peu de consommation d'espace (mais c'est vrai qu' un fichier de 10Mo
modifié sur 50ko occupe 20Mo et pas 10.05).

Question BP consommée, ça doit être comparable à du différentiel, question sollicitation
disque aussi.

Le gros avantage est de pouvoir récupérer ce que l'on veut dans le snap shot que l'on veut (/etc
de la semaine dernière avec le /var/www de cette nuit), et de retrouver t rès simplement un seul
fichier (faire un diff de tel fichier de conf de telle VM avec son cousin d 'une autre VM de la
semaine dernière).

--
Daniel

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
1 2 3