OVH Cloud OVH Cloud

questionnement philosophique

48 réponses
Avatar
Emmanuel Florac
J'ai découvert les applications "snapshots" et "periodic-snapshots" sous
freeBSD, et j'ai décidé de m'en inspirer pour créer des équivalents
linux (en utilisant LVM, bien que ce soit beaucoup moins commode).

Par contre, les deux applications BSD d'origine sont écrites en
bourne shell. Ça ne me paraît pas optimal... Je pense les récrire en
perl. Par ailleurs, pour des raisons à la fois de commodité personnelle
et de conformité avec les habitudes "GNU", je pense conserver à peu
près la même syntaxe, mais en appliquant les normes "GNU" du genre
mettre "--" devant les paramètres, par exemple "snapshot --list" plutôt
que "snapshot list".

Qu'est ce que vous en dites? Je suis preneur de toute suggestion (de toute
façon pour les applis je les ai déjà commencées :)

--
Quidquid latine dictum sit, altum sonatur

10 réponses

1 2 3 4 5
Avatar
DINH Viêt Hoà

J'ai découvert les applications "snapshots" et "periodic-snapshots" sous
freeBSD, et j'ai décidé de m'en inspirer pour créer des équivalents
linux (en utilisant LVM, bien que ce soit beaucoup moins commode).


tu peux préciser ce que tu veux dire par snapshots et
periodic-snapshots ?
;5C
--
DINH V. Hoa,

"Ma tuxitude me beastifie" -- sunZ

Avatar
Emmanuel Florac
Le Wed, 08 Sep 2004 22:51:40 +0200, DINH Viêt Hoà a écrit :


tu peux préciser ce que tu veux dire par snapshots et
periodic-snapshots ?
;5C


Heu en fait mistoufle, c'est snapshot et periodic-snapshot. Tout est là:

http://people.freebsd.org/~rse/snapshot/

C'est très utile pour les serveurs d'entreprise, ou à la maison si on
est consciencieux sur les backups :)

--
In girum imus nocte ecce et consumimur igni

Avatar
talon
Emmanuel Florac wrote:

J'ai découvert les applications "snapshots" et "periodic-snapshots" sous
freeBSD, et j'ai décidé de m'en inspirer pour créer des équivalents
linux (en utilisant LVM, bien que ce soit beaucoup moins commode).

Par contre, les deux applications BSD d'origine sont écrites en
bourne shell. Ça ne me paraît pas optimal... Je pense les récrire en
perl. Par ailleurs, pour des raisons à la fois de commodité personnelle
et de conformité avec les habitudes "GNU", je pense conserver à peu
près la même syntaxe, mais en appliquant les normes "GNU" du genre
mettre "--" devant les paramètres, par exemple "snapshot --list" plutôt
que "snapshot list".

Qu'est ce que vous en dites? Je suis preneur de toute suggestion (de toute
façon pour les applis je les ai déjà commencées :)



Je ne sais pas trop de quoi tu parles:
-sous FreeBSD-5 il y a une possibilité de faire des snaphsots de
filesystem et ça sert entre autres à faire un fsck en background.
Ca peut aussi servir à faire des undelete et choses similaires, mais je
n'ai jamais utilisé.
-il y a aussi un port
/usr/ports/sysutils/rsnapshot
dont la documentation dit:
rsnapshot is a filesystem snapshot utility based on rsync(1).
rsnapshot makes it easy to make periodic snapshots of local machines,
and remote machines over ssh. The code makes extensive use of hard links
whenever possible, to greatly reduce the disk space required.

It is written entirely in perl with no module dependencies, and has been
tested with versions 5.004 through 5.8.1.

WWW: http://www.rsnapshot.org

- Ralf van Dooren


--

Michel TALON

Avatar
talon
Emmanuel Florac wrote:
Le Wed, 08 Sep 2004 22:51:40 +0200, DINH Viêt Hoà a écrit :


tu peux préciser ce que tu veux dire par snapshots et
periodic-snapshots ?
;5C


Heu en fait mistoufle, c'est snapshot et periodic-snapshot. Tout est là:

http://people.freebsd.org/~rse/snapshot/


Ah, OK il s'agit bien du snapshot de filesystem. Mais ça suppose un
support dans le noyau qui est particulièrement lourd. Tu es sur que la
même chose existe pour Linux?


C'est très utile pour les serveurs d'entreprise, ou à la maison si on
est consciencieux sur les backups :)



Ca serait trés utile sur des serveurs d'entreprise à condition d'avoir
un espace disque énorme. Parceque je suppose que si on prend un snapshot
toutes les heures ça va vite faire gros!
A vrai dire je ne sais pas ce qu'il y a exactement dans le snapshot
(je suppose uniquement des metadata) et combien il est gros exactement,
il va falloir que je fasse un essai.


--

Michel TALON


Avatar
Emmanuel Florac
Le Thu, 09 Sep 2004 14:27:01 +0000, Michel Talon a écrit :


Ah, OK il s'agit bien du snapshot de filesystem. Mais ça suppose un
support dans le noyau qui est particulièrement lourd. Tu es sur que la
même chose existe pour Linux?



Oui, je suis certain :)


C'est très utile pour les serveurs d'entreprise, ou à la maison si on
est consciencieux sur les backups :)



Ca serait trés utile sur des serveurs d'entreprise à condition d'avoir
un espace disque énorme. Parceque je suppose que si on prend un snapshot
toutes les heures ça va vite faire gros!


Non, un snapshot prend au maximum 20% de l'espace disque "imagé". Un
snapshot horaire en général prend 2 à 5% de l'espace.

A vrai dire je ne sais pas ce qu'il y a exactement dans le snapshot
(je suppose uniquement des metadata) et combien il est gros exactement,
il va falloir que je fasse un essai.


Essaie. le snapshot contient les blocs modifiés dans l'original, tout
simplement. Donc plus tu effaces et/ou modifie des fichiers, plus le
snapshot grossit. Si tu ne modifies pas le FS imagé, le snapshot ne
grossit pas.

--
Le commissaire : Comment vous appelez-vous?
Garance : Moi je ne m'appelle jamais, je suis toujours là. J'ai pas
besoin de m'appeler. Mais les autres m'appellent Garance, si ça peut
vous intéresser.
Prévert,"les enfants du Paradis".


Avatar
Emmanuel Florac
Le Thu, 09 Sep 2004 14:19:48 +0000, Michel Talon a écrit :


Je ne sais pas trop de quoi tu parles:
-sous FreeBSD-5 il y a une possibilité de faire des snaphsots de
filesystem et ça sert entre autres à faire un fsck en background.


C'est un usage atrocement banal :) on peut faire beaucoup mieux avec, voir
les liens que j'ai posté.

--
Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando

Avatar
Eric Masson
"Michel" == Michel Talon writes:






Michel> Ca serait trés utile sur des serveurs d'entreprise à condition
Michel> d'avoir un espace disque énorme.

Ben pour le moment, ce n'est pas une idée fantastique un espace disque
énorme, mes derniers tests donnent 35 minutes pour poser un snapshot sur
une partition de 650 Gb alors qu'il faut 1 minute 30 pour faire la même
chose sur une partition de 70 Gb.

Michel> Parceque je suppose que si on prend un snapshot toutes les
Michel> heures ça va vite faire gros!

Tu peux t'inspirer des utilitaires de rotation de logs et ne conserver
que les x snapshots les plus récents.

Michel> A vrai dire je ne sais pas ce qu'il y a exactement dans le
Michel> snapshot (je suppose uniquement des metadata) et combien il est
Michel> gros exactement

Tu as des infos dans /usr/src/sys/ufs/ffs/README.snapshot ou alors ici :
http://www.mckusick.com/softdep/

Pour ce qui est de la taille, un exemple sur une partition de 74 Gb

:/vol0/.snap> ll
total 46304
-r--r----- 1 root operator 82343251336 9 sep 16:54 snap1

:/vol0/.snap> df -h
Filesystem Size Used Avail Capacity Mounted on
...
/dev/da1s1d 74G 12G 56G 18% /vol0

Eric Masson

--
Je dirais, à voir sortir les noms de nouveaux groupes, que la
hiérarchie fr. est celle qui évolue le moins et le moins vite. Sans
doûte pour favoriser la pénétration d'Internet dans les foyers...
-+- ALG in: <http://www.le-gnu.net> - La stratégie fufer -+-





Avatar
Emmanuel Florac
Le Thu, 09 Sep 2004 17:03:29 +0200, Eric Masson a écrit :


Ben pour le moment, ce n'est pas une idée fantastique un espace disque
énorme, mes derniers tests donnent 35 minutes pour poser un snapshot sur
une partition de 650 Gb alors qu'il faut 1 minute 30 pour faire la même
chose sur une partition de 70 Gb.


De toute évidence les snapshots sous FreeBSD fonctionnent d'une façon
qui m'échappe; on ne leur alloue pas d'espace à l'avance (l'espace
est-il pris sur le FS "imagé"?) et comme ils travaillent au niveau du FS
la prise de snapshot apparemment est lente ce qui en limite beaucoup
l'intérêt. Enfin moi ça m'est égal je veux le faire sous Linux, et
prendre un snapshot LVM sous Linux prend moins d'un clin d'oeil, même
avec un FS de 2 To. Par contre il est obligatoire de lui allouer de
l'espace à l'avance, et si nécessaire de le redimensionner manuellement
avant qu'il n'explose par manque d'espace...

--
Ce qu'il y a d'enivrant dans le mauvais goût c'est le plaisir
aristocratique de déplaire.
C. Baudelaire.

Avatar
Eric Masson
"Emmanuel" == Emmanuel Florac writes:






'Lut,

Emmanuel> De toute évidence les snapshots sous FreeBSD fonctionnent
Emmanuel> d'une façon qui m'échappe; on ne leur alloue pas d'espace à
Emmanuel> l'avance (l'espace est-il pris sur le FS "imagé"?) et comme
Emmanuel> ils travaillent au niveau du FS la prise de snapshot
Emmanuel> apparemment est lente ce qui en limite beaucoup l'intérêt.

L'implémentation retenue si j'ai tout bien compris est de créer une
liste d'inodes utilisés. Après cela, toute tentative de modification
d'un inode provoquera la duplication d'icelui et l'accès non restreint
(hors permissions fs) à la copie (mécanisme de copy on write).

Le temps effectif de pose d'un snapshot est assez faible, c'est la phase
de préparation qui est la plus longue :
http://www.freebsd.org/cgi/cvsweb.cgi/src/sys/ufs/ffs/README.snapshot?rev=1.4&content-type=text/x-cvsweb-markup
http://www.usenix.org/publications/library/proceedings/usenix99/full_papers/mckusick/mckusick.pdf

Emmanuel> prendre un snapshot LVM sous Linux prend moins d'un clin
Emmanuel> d'oeil, même avec un FS de 2 To.

Iirc, l'intérêt de lvm est que les snapshots sont posés indépendemment
du fs utilisé dans une volume donné, non ?

Emmanuel> Par contre il est obligatoire de lui allouer de l'espace à
Emmanuel> l'avance, et si nécessaire de le redimensionner manuellement
Emmanuel> avant qu'il n'explose par manque d'espace...

Probablement lié à la structure de lvm, je n'ai jamais trop regardé
comment il fonctionnait.

Eric Masson

--
L'attitude qui consiste a rappeler a un contributeur que sa poste est
contraire a la charte du NG, me parait pedante, anale et probablement
aussi "hors-sujet". Ce qui m'enerve plus qu' une poste sur le TeX...
-+- Dr NV in GNU : Les a(nale)ventures de Docteur Juste Tex. -+-





Avatar
manu
Emmanuel Florac wrote:

Par contre, les deux applications BSD d'origine sont écrites en
bourne shell. Ça ne me paraît pas optimal... Je pense les récrire en
perl.


Pourquoi pas en C?

Par ailleurs, pour des raisons à la fois de commodité personnelle
et de conformité avec les habitudes "GNU", je pense conserver à peu
près la même syntaxe, mais en appliquant les normes "GNU" du genre
mettre "--" devant les paramètres, par exemple "snapshot --list" plutôt
que "snapshot list".


A part introduire une syntaxe incompatible avec la version BSD et avoir
à taper deux caractères de plus, y'a un interet à cette modification?

--
Emmanuel Dreyfus
Publicité subliminale: achetez ce livre!
http://www.eyrolles.com/Informatique/Livre/9782212114638/livre-bsd.php


1 2 3 4 5