OVH Cloud OVH Cloud

réplication massive de données...

22 réponses
Avatar
Yohann Desquerre
Bonjour à tous,


Je souhaite répliquer à l'identique les donnée baie de disque HITACHI
(donnée vu par un solaris 9)vers une baie de disques STK.


Je souhaiterais prouver à ma hierarchie qu'il est possible d'effectuer
cette opérations avec des logiciels libre plutôt que d'utiliser des
solutions propriètaires notament celles fournies par la société Véritas.


Avez vous des idées sur comment faire çà (réplication pur et dur
snapshot,autres solution)????


je me suis tourner vers unisson mais je ne sait pas si c'est vraiment
adapter à ce que je veux faire :


La baie Hitachi renferme environ 7TB de données que je souhaite donc
répliquer,mirrorer,snapshoter (ou autre aussi bien), et tout çà dans une
nuit de 12 Heures (plus vite si on peux ;-) ), je dispose pour ce faire
de lien ethernet 100MB(çà sent le paté) éventuellement de liens gigabit
(va faloir que je négocie mais çà devrait être jouable) et deux cartes
Fiber channel qlogic 2340, et d'un switch brocade 3800.


Si c'est possible j'aurais bien attaché ma debian et mes deux baies sur
le switch et donc de synchroniser avec unison mais je ne sais pas s'il
est capable de faire du fiber chanel (c'est la solution la plus rapide !).



Voila, vous avez mon cahier des charges...


PS : Je bosse dans une administration tout économie ( c'est à dire
éviter de gâcher de l'argent dans de couteuse solution propriétatire)
dans ma boite peut éviter les augmentations d'impots que nous détestons
tous :-D , voire contribuer à les faire baisser( On peut tjrs réver !)


Impatient de lire vos suggestions


Débianement votre.


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org

10 réponses

1 2 3
Avatar
Jerome Chantelauze
On Fri, Jul 30, 2004 at 10:02:30AM +0200, Erwan David wrote:
Le Fri 30/07/2004, Jerome Chantelauze disait
> Bonjour
>
> Linux suporte les files systems de type ufs en lecture seule (ainsi que
> les tables de partition Sun).

Uniquement l'UFS1, pas l'UFS2 (celui de FreeBSD 5)



C'est exact.

Celà dit, je suis parti du principe que la Sun qui gère le volume de
base tournait sous Solaris. Si mon hypothèse est correcte, ce volume
de base ne peut être que de l'ufs1 (puisque pour autant que je sache,
seuls FreeBSD 5 et NetBSD supportent l'ufs2).

--
Jerome


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Erwan David
Le Fri 30/07/2004, Jerome Chantelauze disait
On Fri, Jul 30, 2004 at 10:02:30AM +0200, Erwan David wrote:
> Le Fri 30/07/2004, Jerome Chantelauze disait
> > Bonjour
> >
> > Linux suporte les files systems de type ufs en lecture seule (ainsi que
> > les tables de partition Sun).
>
> Uniquement l'UFS1, pas l'UFS2 (celui de FreeBSD 5)

C'est exact.

Celà dit, je suis parti du principe que la Sun qui gère le volume de
base tournait sous Solaris. Si mon hypothèse est correcte, ce volume
de base ne peut être que de l'ufs1 (puisque pour autant que je sache,
seuls FreeBSD 5 et NetBSD supportent l'ufs2).



Oui, c'est fort probable.

--
Erwan


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Yohann Desquerre
Pascal Greliche wrote:

Salut !

LA solution à ton problème, à mon avis c'est rsync.
Très fiable, très optimisé, parfait pour ce genre de choses.
Le gros avantage que tu aura, c'est que une fois que tu aura tes
données des 2 cotés, seul la différence sera transmise à chaque
synchronisation.
la fréquence de des synchronisations dépendra du nombre de fichiers,
du volume de ceux-ci, d'un peu de ressources processeur de chaque coté
et du volume de données modifiées sur un temps donné.




j'ai 7TB qui change souvent apparemment (majorité de base de données)....


rsync est-il adapter pour ce type de volume ?

Moi, pour un petit serveur de mail, je peut le lancer toutes les 5
minutes !
Au pire ça gère ses propres lock et donc 2 synchros ne peuvent pas se
faire en même temps.

Voila, donc pour toi apt-get install rsync (ca existe aussi pour plein
d'autres plateformes et même windows, que ça m'étonnerai pas ...) et
man rsync/rsyncd.conf

A+





--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Yohann Desquerre
sich wrote:

Yohann Desquerre a écrit :

c'est possible de faire du ssh à travers la fibre optique (en fc et
non over ip) ?




Heu à ma connaissance (du moins pour celle qu'on utilise au boulot)
les fibre channel sont un genre de connectique matériel,nous avons une
baie san connecté à deux serveur comme ça. Et en fait les deux
serveurs voient directement les disques de la baie comme des disques
locaux. Attention les deux serveur ne peuvent pas utiliser le même disque




c'est la le hic...

(enfin le même raid 5) en même temps. Donc tu ne pourras pas utiliser
tes cartes qlogic sur ip, du moins si tu es dans le même genre de config.
Tu pourrais me donner plus de détails sur la façon dont tes deux
serveurs sont connecté ? fibre, liaison giga, baie de disque ? ...




le solaris est connecté au switch san
la Baie HDS9960 est connecté au switch san ( Les volumes à répliquer
sont de type ufs)
La Baie B220 est connectée au switch

Le réseaux est pour l'instant en 10/100..... Mais je peux négocier çà
(en comparaison du prix d'une solution de réplication propriétaire, çà
devrait être ok).

Mais en fait c'est pour éviter çà que faire du ssh a travers la fibre çà
aurait été cool ( je crois que certain driver de carte hba permettent çà)



et j'aimerais connecter au switch une debian qui aura le responsabilité
de répliqué ( ou tout autre technique me permettant d'avoir une image
exacte à un instant donné)les données de la baie HDS sur la Baie STK.



sich






--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Yohann Desquerre
Jerome Chantelauze wrote:

Bonjour

On Fri, Jul 30, 2004 at 12:04:08AM +0200, Yohann Desquerre wrote:


Georges Roux wrote:



Tu veux faire quoi exactement, exact repliquation, simple transfert,
synchronisation...
je suppose que les formatage sont different.




en fait le volume de base sera de l'ufs, et le but est de pouvoir
restaurer la première baie (HDS) avec les données répliquées de la
deuxième en cas de problème.... Je ne sais pas si çà va poser des
problème de type de fs...





Linux suporte les files systems de type ufs en lecture seule (ainsi que
les tables de partition Sun).

J'ai utilisé tout ça dernièrement pour lire un disque dur provenant d'une
station Sparc qui tourne sous un BSD (file system de type ufs) avec un PC
woody.

Il suffit d'avoir un noyau compilé avec les bonnes options. Ensuite, tu
devrais pouvoir monter une partition avec un simple mount en précisant
le type du file system ufs (avec un "mount -t ufs -o ufstype=sun ...").





oui mais comment atteindre les volumes vu par une machines distantes ?



si deux machines voient le même volume... çà na pose pas de problèmes ?

Certains type de file system ufs sont aussi supportés en écriture, mais
ce support est encore expérimental (donc danger) sur les noyaux 2.4 (je
n'ai jamais testé l'écriture, j'avais juste besoin de pouvoir relire ce
disque pour transférer quelques fichiers).

Voilà, je ne sais pas si ça t'avance beaucoups...

--
Jerome








--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Xavier Maillard
On 29 jui 2004, Yohann Desquerre wrote:

Bonjour à tous,



Plop,

Je souhaite répliquer à l'identique les donnée baie de disque
HITACHI (donnée vu par un solaris 9)vers une baie de disques
STK.



Tiens chez mon client actuel, c'est plutôt l'inverse qui se
produit :) On passe de STK à des HDS beaucoup plus fiable à
priori. Sans parler de ces merdes de baies auto-raid...


--
,--. Xavier Maillard, Reims, France ,= ,-_-. =.
/ ,- ) http://www.emacsfr.org/ ((_/)o o(_))
`-' `-'(. .)`-'
`-. Debian, a variant of the GNU operating system. _/



--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Pascal Greliche
Salut,

Si c'est une base de données, je te conseille de trouver une solution
plus haut niveau.
En effet, une image binaire des fichiers d'une base de données a toutes
les chances d'être corrompu si la base de donnée est en service (sur
une base de donnée de 7T, je suppose qu'il y a énormément de mises à
jour en permanence ...)
Quel est ton SGBD ?
MySQL à une méthode de réplication automatique. Je suppose que bien
d'autres ont cette capacité.
Sinon, tu as la possibilité de faire un "dump" et de le renvoyer sur le
serveur distant. Par contre ça risque d'être beaucoup plus long.
L'avantage, c'est que si tu es un peu en limite de place pour le
backup, l'avantage, c'est que tu peut compresser ton dump. Suivant le
type de tes enregistrements, ça peut être un énorme gain.
Par exemple sur une base de données ou beaucoup d'enregistrements se
ressemblent et son en ASCII, d'une base de plus 1Go, un dump compressé
en bz2, je tombe à 80 Mo !!

A+

--
Pascal Greliche
Service Technique ICX France
Tel : 08 99 703 403
Fax : 08 26 800 206

Le 30 juil. 04, à 19:08, Yohann Desquerre a écrit :

Pascal Greliche wrote:

Salut !

LA solution à ton problème, à mon avis c'est rsync.
Très fiable, très optimisé, parfait pour ce genre de choses.
Le gros avantage que tu aura, c'est que une fois que tu aura tes
données des 2 cotés, seul la différence sera transmise à chaque
synchronisation.
la fréquence de des synchronisations dépendra du nombre de fichiers,
du volume de ceux-ci, d'un peu de ressources processeur de chaque
coté et du volume de données modifiées sur un temps donné.




j'ai 7TB qui change souvent apparemment (majorité de base de
données)....


rsync est-il adapter pour ce type de volume ?

Moi, pour un petit serveur de mail, je peut le lancer toutes les 5
minutes !
Au pire ça gère ses propres lock et donc 2 synchros ne peuvent pas se
faire en même temps.

Voila, donc pour toi apt-get install rsync (ca existe aussi pour
plein d'autres plateformes et même windows, que ça m'étonnerai pas
...) et man rsync/rsyncd.conf

A+





--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact




Avatar
sich
Yohann Desquerre a écrit :
j'ai 7TB qui change souvent apparemment (majorité de base de données)....


rsync est-il adapter pour ce type de volume ?



Comme l'a dis une autre personne, en cas de bdd il faut utiliser un
système de réplication ou de backup géré par le sgbd lui même. Il est
très dangereux de vouloir copier les fichiers sources d'une bdd par un
simple copier / coller...

sich


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Yohann Desquerre
Jerome Chantelauze wrote:

On Fri, Jul 30, 2004 at 10:02:30AM +0200, Erwan David wrote:


Le Fri 30/07/2004, Jerome Chantelauze disait


Bonjour

Linux suporte les files systems de type ufs en lecture seule (ainsi que
les tables de partition Sun).




Uniquement l'UFS1, pas l'UFS2 (celui de FreeBSD 5)





C'est exact.

Celà dit, je suis parti du principe que la Sun qui gère le volume de
base tournait sous Solaris.




c'est le cas !

Si mon hypothèse est correcte, ce volume
de base ne peut être que de l'ufs1 (puisque pour autant que je sache,
seuls FreeBSD 5 et NetBSD supportent l'ufs2).

--
Jerome








--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Yohann Desquerre
Xavier Maillard wrote:

On 29 jui 2004, Yohann Desquerre wrote:



Bonjour à tous,





Plop,



Je souhaite répliquer à l'identique les donnée baie de disque
HITACHI (donnée vu par un solaris 9)vers une baie de disques
STK.





Tiens chez mon client actuel, c'est plutôt l'inverse qui se
produit :) On passe de STK à des HDS beaucoup plus fiable à
priori. Sans parler de ces merdes de baies auto-raid...






c'est probléme de cout, répliquer sur des disque fc haute performance
coute environ 20x plus cher que d'utiliser une baie utilisant la
technologie SATA !

Désolé si c'est hors sujet de la liste ... :-[


Sinon comment faite vous pour répliquer les données chez ce client....
Logiciel libre ou couteuse solution propriétaire ?





--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
1 2 3