OVH Cloud OVH Cloud

réplication massive de données...

22 réponses
Avatar
Yohann Desquerre
Bonjour à tous,


Je souhaite répliquer à l'identique les donnée baie de disque HITACHI
(donnée vu par un solaris 9)vers une baie de disques STK.


Je souhaiterais prouver à ma hierarchie qu'il est possible d'effectuer
cette opérations avec des logiciels libre plutôt que d'utiliser des
solutions propriètaires notament celles fournies par la société Véritas.


Avez vous des idées sur comment faire çà (réplication pur et dur
snapshot,autres solution)????


je me suis tourner vers unisson mais je ne sait pas si c'est vraiment
adapter à ce que je veux faire :


La baie Hitachi renferme environ 7TB de données que je souhaite donc
répliquer,mirrorer,snapshoter (ou autre aussi bien), et tout çà dans une
nuit de 12 Heures (plus vite si on peux ;-) ), je dispose pour ce faire
de lien ethernet 100MB(çà sent le paté) éventuellement de liens gigabit
(va faloir que je négocie mais çà devrait être jouable) et deux cartes
Fiber channel qlogic 2340, et d'un switch brocade 3800.


Si c'est possible j'aurais bien attaché ma debian et mes deux baies sur
le switch et donc de synchroniser avec unison mais je ne sais pas s'il
est capable de faire du fiber chanel (c'est la solution la plus rapide !).



Voila, vous avez mon cahier des charges...


PS : Je bosse dans une administration tout économie ( c'est à dire
éviter de gâcher de l'argent dans de couteuse solution propriétatire)
dans ma boite peut éviter les augmentations d'impots que nous détestons
tous :-D , voire contribuer à les faire baisser( On peut tjrs réver !)


Impatient de lire vos suggestions


Débianement votre.


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org

10 réponses

1 2 3
Avatar
Georges Roux
Tu veux faire quoi exactement, exact repliquation, simple transfert,
synchronisation...
je suppose que les formatage sont different.
pour faire vite sinon, je passerais par un pipe tar pipe et via un
export NFS.
sinon j'utilise rsync c'est bien mais c'est plus long, donc transfert
tar puis rsync.

tar cpf - /montage/nfs | (cd /destination;tar xpf -)

Si tu ajoute le v "xpvf", ça prendra plus de temps.
Après tu peux jouer avec rsync les fichiers sont là.

Georges


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Sylvain LE GALL
On Thu, Jul 29, 2004 at 07:49:33PM +0200, Yohann Desquerre wrote:
Bonjour à tous,


Je souhaite répliquer à l'identique les donnée baie de disque HITACHI
(donnée vu par un solaris 9)vers une baie de disques STK.


Je souhaiterais prouver à ma hierarchie qu'il est possible d'effectuer
cette opérations avec des logiciels libre plutôt que d'utiliser des
solutions propriètaires notament celles fournies par la société Véritas.


Avez vous des idées sur comment faire çà (réplication pur et dur
snapshot,autres solution)????


je me suis tourner vers unisson mais je ne sait pas si c'est vraiment
adapter à ce que je veux faire :


La baie Hitachi renferme environ 7TB de données que je souhaite donc
répliquer,mirrorer,snapshoter (ou autre aussi bien), et tout çà dans une
nuit de 12 Heures (plus vite si on peux ;-) ), je dispose pour ce faire
de lien ethernet 100MB(çà sent le paté) éventuellement de liens gigabit
(va faloir que je négocie mais çà devrait être jouable) et deux cartes
Fiber channel qlogic 2340, et d'un switch brocade 3800.


Si c'est possible j'aurais bien attaché ma debian et mes deux baies sur
le switch et donc de synchroniser avec unison mais je ne sais pas s'il
est capable de faire du fiber chanel (c'est la solution la plus rapide !).





Bonjour,

Bon je n'ai pas beaucoup d'expérience sur unison, mais je l'ai quand
même un peu utilisé...

Voila ce que je peux te dire :
- unison travail au dessus de ssh, ce qui signifie qu'il n'a pas de
connaissance IP/Fiber Channel/ce que tu veux. Si tu peux avoir une
connexion ssh ca marche
- unison doit être présent sur les deux machines à répliquer, dans la
même version !
- unison ne fait pas de la réplication pur et dur au sens
maitre/esclave... Il essaie de résoudre les conflits de merge entre
deux volumes de données ( ce qui signifie que tu peux travailler sur
une machine et sur l'autre et unison essaieras de dire quelle est la
bonne version du ficher, mais s'il se trompe, il te demandera -> gare
aux erreurs ).
- vérifie la viabilité de la solution en terme d'éfficacité logicielle /
hard : unison, comme il fait de la fusion peut éventuellement avoir
tendance à prendre un peu de place mémoire... Pour un volume de 7 TB,
il faut se méfier.
- astuce pour gagner en rapidité : utilises les bonnes options ssh pour
désactiver l'encryptage ( je suppose que tu n'as pas besoin d'une
connexion encrypté
- niveau temps, faut voir : je penses pas que l'ensemble du volume de
donnée de 7TB change chaque jour, ce qui rendrait unison trés rapide (
je pense qu'en 4-5 h ca devrait être bon, tout dépend des temps
d'accés disques )

Je pense que c'est a peu prés tout ce que je peux dire.

Bonne chance
Sylvain Le Gall


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Yohann Desquerre
Georges Roux wrote:

Tu veux faire quoi exactement, exact repliquation, simple transfert,
synchronisation...
je suppose que les formatage sont different.




en fait le volume de base sera de l'ufs, et le but est de pouvoir
restaurer la première baie (HDS) avec les données répliquées de la
deuxième en cas de problème.... Je ne sais pas si çà va poser des
problème de type de fs...

pour faire vite sinon, je passerais par un pipe tar pipe et via un
export NFS.
sinon j'utilise rsync c'est bien mais c'est plus long, donc transfert
tar puis rsync.

tar cpf - /montage/nfs | (cd /destination;tar xpf -)

Si tu ajoute le v "xpvf", ça prendra plus de temps.
Après tu peux jouer avec rsync les fichiers sont là.





merci pour le tuyeau, je vais faire des comparaison de perfomance avec
la solution unison !


mais je vais avoir du mal à imposer cette solution, a mon boulot il
n'aprécie pas nfs... il le considère comme lent et fragile...



Georges






--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Yohann Desquerre
Sylvain LE GALL wrote:

On Thu, Jul 29, 2004 at 07:49:33PM +0200, Yohann Desquerre wrote:


Bonjour à tous,


Je souhaite répliquer à l'identique les donnée baie de disque HITACHI
(donnée vu par un solaris 9)vers une baie de disques STK.


Je souhaiterais prouver à ma hierarchie qu'il est possible d'effectuer
cette opérations avec des logiciels libre plutôt que d'utiliser des
solutions propriètaires notament celles fournies par la société Véritas.


Avez vous des idées sur comment faire çà (réplication pur et dur
snapshot,autres solution)????


je me suis tourner vers unisson mais je ne sait pas si c'est vraiment
adapter à ce que je veux faire :


La baie Hitachi renferme environ 7TB de données que je souhaite donc
répliquer,mirrorer,snapshoter (ou autre aussi bien), et tout çà dans une
nuit de 12 Heures (plus vite si on peux ;-) ), je dispose pour ce faire
de lien ethernet 100MB(çà sent le paté) éventuellement de liens gigabit
(va faloir que je négocie mais çà devrait être jouable) et deux cartes
Fiber channel qlogic 2340, et d'un switch brocade 3800.


Si c'est possible j'aurais bien attaché ma debian et mes deux baies sur
le switch et donc de synchroniser avec unison mais je ne sais pas s'il
est capable de faire du fiber chanel (c'est la solution la plus rapide !).







Bonjour,

Bon je n'ai pas beaucoup d'expérience sur unison, mais je l'ai quand
même un peu utilisé...

Voila ce que je peux te dire :
- unison travail au dessus de ssh, ce qui signifie qu'il n'a pas de
connaissance IP/Fiber Channel/ce que tu veux. Si tu peux avoir une
connexion ssh ca marche





c'est possible de faire du ssh à travers la fibre optique (en fc et non
over ip) ?

- unison doit être présent sur les deux machines à répliquer, dans la
même version !





du parle de la version d'unison ou de la machine ( j'ai un solaris d'un
coté et une debian de l'autre)

- unison ne fait pas de la réplication pur et dur au sens
maitre/esclave...




Est-ce que unison ne synchronise que les secteurs de disques marqués
comme modifiés ou fait une copie brut de toutes les données présentes ?


Il essaie de résoudre les conflits de merge entre
deux volumes de données ( ce qui signifie que tu peux travailler sur
une machine et sur l'autre et unison essaieras de dire quelle est la
bonne version du ficher, mais s'il se trompe, il te demandera -> gare
aux erreurs ).





s'il existe une solution de snapshot ( je pense que çà se serait plus
rapide), ou une autre solution plus viable je suis preneur !


<>- vérifie la viabilité de la solution en terme d'éfficacité logicielle /
hard : unison, comme il fait de la fusion peut éventuellement avoir
tendance à prendre un peu de place mémoire... Pour un volume de 7 TB,
il faut se méfier.
- astuce pour gagner en rapidité : utilises les bonnes options ssh pour
désactiver l'encryptage ( je suppose que tu n'as pas besoin d'une
connexion encrypté
- niveau temps, faut voir : je penses pas que l'ensemble du volume de




en fait c'est plusieurs volumes à répliqué qui font en tout 7 TB...

<> donnée de 7TB change chaque jour, ce qui rendrait unison trés rapide (
je pense qu'en 4-5 h ca devrait être bon, tout dépend des temps
d'accés disques )



5 H j'achète !!!




Je pense que c'est a peu prés tout ce que je peux dire.


c'est déjà beaucoup merci 8-)

Bonne chance
Sylvain Le Gall








--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Georges Roux
Yohann Desquerre wrote:


mais je vais avoir du mal à imposer cette solution, a mon boulot il
n'aprécie pas nfs... il le considère comme lent et fragile...



Tu peux monter NFS à travers Fiber, et tu peux leur dire que c'est une
solution utilisée par IBM (entre autres) pour exporter des volumes,
sinon il y a GFS, si tu veux de la haute dispo, mais là je ne connait
pas ton contexte.

Georges




--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Sylvain LE GALL
On Fri, Jul 30, 2004 at 12:20:08AM +0200, Yohann Desquerre wrote:
Sylvain LE GALL wrote:

>On Thu, Jul 29, 2004 at 07:49:33PM +0200, Yohann Desquerre wrote:
>
>
>>Bonjour à tous,
>>
>>
>>Je souhaite répliquer à l'identique les donnée baie de disque HITACHI
>>(donnée vu par un solaris 9)vers une baie de disques STK.
>>
>>
>>Je souhaiterais prouver à ma hierarchie qu'il est possible d'effectuer
>>cette opérations avec des logiciels libre plutôt que d'utiliser des
>>solutions propriètaires notament celles fournies par la société Véritas.
>>
>>
>>Avez vous des idées sur comment faire çà (réplication pur et dur
>>snapshot,autres solution)????
>>
>>
>>je me suis tourner vers unisson mais je ne sait pas si c'est vraiment
>>adapter à ce que je veux faire :
>>
>>
>>La baie Hitachi renferme environ 7TB de données que je souhaite donc
>>répliquer,mirrorer,snapshoter (ou autre aussi bien), et tout çà dans une
>>nuit de 12 Heures (plus vite si on peux ;-) ), je dispose pour ce faire
>>de lien ethernet 100MB(çà sent le paté) éventuellement de liens gigabit
>>(va faloir que je négocie mais çà devrait être jouable) et deux cartes
>>Fiber channel qlogic 2340, et d'un switch brocade 3800.
>>
>>
>>Si c'est possible j'aurais bien attaché ma debian et mes deux baies sur
>>le switch et donc de synchroniser avec unison mais je ne sais pas s'il
>>est capable de faire du fiber chanel (c'est la solution la plus rapide !).
>>
>>
>>
>>
>
>Bonjour,
>
>Bon je n'ai pas beaucoup d'expérience sur unison, mais je l'ai quand
>même un peu utilisé...
>
>Voila ce que je peux te dire :
>- unison travail au dessus de ssh, ce qui signifie qu'il n'a pas de
> connaissance IP/Fiber Channel/ce que tu veux. Si tu peux avoir une
> connexion ssh ca marche
>
>

c'est possible de faire du ssh à travers la fibre optique (en fc et non
over ip) ?




Humm, trop technique pour moi... J'ai pas de fiber channel juste sous la
main là ;-) ( je ne connais pas du tout ce type de technologie ).

>- unison doit être présent sur les deux machines à répliquer, dans la
> même version !
>
>

du parle de la version d'unison ou de la machine ( j'ai un solaris d'un
coté et une debian de l'autre)




Il te faut unison version X sur la machine debian et unison version X
sur la machine solaris. Aprés les machines ca ne regarde pas unison (
tant qu'il peut etre présent sur les deux machines ).

>- unison ne fait pas de la réplication pur et dur au sens
> maitre/esclave...
>

Est-ce que unison ne synchronise que les secteurs de disques marqués
comme modifiés ou fait une copie brut de toutes les données présentes ?




Ni l'un, ni l'autre, il travaille sur les fichiers. Dans mes souvenirs,
il génére plus ou moins une sorte de cache locale des stats des fichiers
puis fait la synchro par rapport a ces stats ( ie si les fichiers n'ont
pas les même stats -> il faut les synchroniser ). Sachant que ce
mécanismes est un truc assez malin ( en tout cas ca ce dit dans certains
milieu bien informé, mais je ne sait pas vraiment pourquoi, je crois que
l'approche du classement des données à synchroniser est assez innovante
mais j'en sais pas plus ).


>Il essaie de résoudre les conflits de merge entre
> deux volumes de données ( ce qui signifie que tu peux travailler sur
> une machine et sur l'autre et unison essaieras de dire quelle est la
> bonne version du ficher, mais s'il se trompe, il te demandera -> gare
> aux erreurs ).
>
>

s'il existe une solution de snapshot ( je pense que çà se serait plus
rapide), ou une autre solution plus viable je suis preneur !




Il n'y a pas vraiment de solution de snapshot : il va simplement
synchroniser les données modifier entre la machine A et B. ( mais je ne
comprends peut être pas ce tu veux dire par "snapshot" ).


><>- vérifie la viabilité de la solution en terme d'éfficacité logicielle /
>hard : unison, comme il fait de la fusion peut éventuellement avoir
>tendance à prendre un peu de place mémoire... Pour un volume de 7 TB,
>il faut se méfier.
>- astuce pour gagner en rapidité : utilises les bonnes options ssh pour
>désactiver l'encryptage ( je suppose que tu n'as pas besoin d'une
>connexion encrypté
>- niveau temps, faut voir : je penses pas que l'ensemble du volume de


en fait c'est plusieurs volumes à répliqué qui font en tout 7 TB...

><> donnée de 7TB change chaque jour, ce qui rendrait unison trés rapide (
>je pense qu'en 4-5 h ca devrait être bon, tout dépend des temps
>d'accés disques )

5 H j'achète !!!





Faut voir, j'ai jamais eut l'occasion de faire ce type de synchro, sur
ce genre de volume. Note, qu'il y a une ML unison qui peut te donner
plein de renseignements sur ce genre de chose.



Je pense que c'est a peu prés tout ce que je peux dire.


c'est déjà beaucoup merci 8-)




A+
Sylvain Le Gall


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Pascal Greliche
Salut !

LA solution à ton problème, à mon avis c'est rsync.
Très fiable, très optimisé, parfait pour ce genre de choses.
Le gros avantage que tu aura, c'est que une fois que tu aura tes
données des 2 cotés, seul la différence sera transmise à chaque
synchronisation.
la fréquence de des synchronisations dépendra du nombre de fichiers, du
volume de ceux-ci, d'un peu de ressources processeur de chaque coté et
du volume de données modifiées sur un temps donné.
Moi, pour un petit serveur de mail, je peut le lancer toutes les 5
minutes !
Au pire ça gère ses propres lock et donc 2 synchros ne peuvent pas se
faire en même temps.

Voila, donc pour toi apt-get install rsync (ca existe aussi pour plein
d'autres plateformes et même windows, que ça m'étonnerai pas ...) et
man rsync/rsyncd.conf

A+

--
Pascal Greliche
Service Technique ICX France
Tel : 08 99 703 403
Fax : 08 26 800 206

Le 29 juil. 04, à 19:49, Yohann Desquerre a écrit :

Bonjour à tous,


Je souhaite répliquer à l'identique les donnée baie de disque HITACHI
(donnée vu par un solaris 9)vers une baie de disques STK.


Je souhaiterais prouver à ma hierarchie qu'il est possible d'effectuer
cette opérations avec des logiciels libre plutôt que d'utiliser des
solutions propriètaires notament celles fournies par la société
Véritas.


Avez vous des idées sur comment faire çà (réplication pur et dur
snapshot,autres solution)????


je me suis tourner vers unisson mais je ne sait pas si c'est vraiment
adapter à ce que je veux faire :


La baie Hitachi renferme environ 7TB de données que je souhaite donc
répliquer,mirrorer,snapshoter (ou autre aussi bien), et tout çà dans
une nuit de 12 Heures (plus vite si on peux ;-) ), je dispose pour ce
faire de lien ethernet 100MB(çà sent le paté) éventuellement de liens
gigabit (va faloir que je négocie mais çà devrait être jouable) et
deux cartes Fiber channel qlogic 2340, et d'un switch brocade 3800.


Si c'est possible j'aurais bien attaché ma debian et mes deux baies
sur le switch et donc de synchroniser avec unison mais je ne sais pas
s'il est capable de faire du fiber chanel (c'est la solution la plus
rapide !).



Voila, vous avez mon cahier des charges...


PS : Je bosse dans une administration tout économie ( c'est à dire
éviter de gâcher de l'argent dans de couteuse solution propriétatire)
dans ma boite peut éviter les augmentations d'impots que nous
détestons tous :-D , voire contribuer à les faire baisser( On peut
tjrs réver !)


Impatient de lire vos suggestions


Débianement votre.


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact




Avatar
sich
Yohann Desquerre a écrit :
c'est possible de faire du ssh à travers la fibre optique (en fc et non
over ip) ?



Heu à ma connaissance (du moins pour celle qu'on utilise au boulot) les
fibre channel sont un genre de connectique matériel,nous avons une baie
san connecté à deux serveur comme ça. Et en fait les deux serveurs
voient directement les disques de la baie comme des disques locaux.
Attention les deux serveur ne peuvent pas utiliser le même disque (enfin
le même raid 5) en même temps. Donc tu ne pourras pas utiliser tes
cartes qlogic sur ip, du moins si tu es dans le même genre de config.
Tu pourrais me donner plus de détails sur la façon dont tes deux
serveurs sont connecté ? fibre, liaison giga, baie de disque ? ...

sich


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Jerome Chantelauze
Bonjour

On Fri, Jul 30, 2004 at 12:04:08AM +0200, Yohann Desquerre wrote:
Georges Roux wrote:

>Tu veux faire quoi exactement, exact repliquation, simple transfert,
>synchronisation...
>je suppose que les formatage sont different.


en fait le volume de base sera de l'ufs, et le but est de pouvoir
restaurer la première baie (HDS) avec les données répliquées de la
deuxième en cas de problème.... Je ne sais pas si çà va poser des
problème de type de fs...



Linux suporte les files systems de type ufs en lecture seule (ainsi que
les tables de partition Sun).

J'ai utilisé tout ça dernièrement pour lire un disque dur provenant d'une
station Sparc qui tourne sous un BSD (file system de type ufs) avec un PC
woody.

Il suffit d'avoir un noyau compilé avec les bonnes options. Ensuite, tu
devrais pouvoir monter une partition avec un simple mount en précisant
le type du file system ufs (avec un "mount -t ufs -o ufstype=sun ...").

Certains type de file system ufs sont aussi supportés en écriture, mais
ce support est encore expérimental (donc danger) sur les noyaux 2.4 (je
n'ai jamais testé l'écriture, j'avais juste besoin de pouvoir relire ce
disque pour transférer quelques fichiers).

Voilà, je ne sais pas si ça t'avance beaucoups...

--
Jerome


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Erwan David
Le Fri 30/07/2004, Jerome Chantelauze disait
Bonjour

On Fri, Jul 30, 2004 at 12:04:08AM +0200, Yohann Desquerre wrote:
> Georges Roux wrote:
>
> >Tu veux faire quoi exactement, exact repliquation, simple transfert,
> >synchronisation...
> >je suppose que les formatage sont different.
>
>
> en fait le volume de base sera de l'ufs, et le but est de pouvoir
> restaurer la première baie (HDS) avec les données répliquées de la
> deuxième en cas de problème.... Je ne sais pas si çà va poser des
> problème de type de fs...

Linux suporte les files systems de type ufs en lecture seule (ainsi que
les tables de partition Sun).



Uniquement l'UFS1, pas l'UFS2 (celui de FreeBSD 5)

--
Erwan


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
1 2 3