OVH Cloud OVH Cloud

Script rsync Mirroir local

9 réponses
Avatar
Nicolas Montauban
Bonjour.

Nouveau sur la liste et nouveau venu à Debian

Je souhaiterais faire un miroir local de la distribution debian: la
version stable sans les sources.

J'ai utilisé le script suivant (ci-après) et au bout de 20 go de fichiers
téléchargés je désespère.
Il m'a semblé qu'il y en avait pour 10 Go.

Un script fonctionnel serait le bienvenu.

--
Cordialement,
Nicolas M.

#! /bin/sh
set -e

# This script originates from http://www.debian.org/mirror/anonftpsync

# Note: You MUST have rsync 2.0.16-1 or newer, which is available in slink
# and all newer Debian releases, or at http://rsync.samba.org/

# Set the variables below to fit your site. You can then use cron to have
# this script run daily to automatically update your copy of the archive.

# Don't forget:
# chmod 744 anonftpsync

# TO is the destination for the base of the Debian mirror directory
# (the dir that holds dists/ and ls-lR).

TO=/home/stockage/linux/Debian/mirror/deb

# RSYNC_HOST is the site you have chosen from the mirrors file.
# (http://www.debian.org/mirror/list-full)

RSYNC_HOST=ftp.fr.debian.org

# RSYNC_DIR is the directory given in the "Packages over rsync:" line of
# the mirrors file for the site you have chosen to mirror.

RSYNC_DIR=debian/

# With a blank EXCLUDE you will mirror the entire archive.

EXCLUDE="\
--exclude binary-alpha/ --exclude binary-arm/ \
--exclude binary-m68k/ --exclude binary-powerpc/ --exclude binary-sparc/ \
--exclude binary-ia64/ --exclude binary-mips*/ --exclude binary-hppa/ \
--exclude binary-sh/ --exclude binary-s390/ \
--exclude binary-hurd-i386/ \
--exclude *_alpha.deb --exclude *_arm.deb \
--exclude *_m68k.deb --exclude *_powerpc.deb --exclude *_sparc.deb \
--exclude *_ia64.deb --exclude *_hppa.deb --exclude *_sh.deb \
--exclude *_mips.deb --exclude *_mipsel.deb --exclude *_s390.deb \
--exclude *_hurd-i386.deb \
--exclude disks-alpha/ --exclude disks-arm/ --exclude disks-i386/ \
--exclude disks-ia64/ --exclude disks-m68k/ --exclude disks-mips*/ \
--exclude disks-powerpc/ --exclude disks-s390/ --exclude disks-sparc/ \
--exclude *.udeb \
--exclude *.orig.tar.gz --exclude *.diff.gz --exclude *.dsc \
"

# Other options, you might want to add additional options to rsync
# to suit your system. Common options might include bwlimit
# (but see Debian bug #181336)
# Sample:
# OTHEROPTS="--bwlimit=23 --safe-links"
#
OTHEROPTS=

# There should be no need to edit anything below this point, unless there
# are problems.

#-----------------------------------------------------------------------------#

# Note: on some non-Debian systems, hostname doesn't accept -f option.
# If that's the case on your system, make sure hostname prints the full
# hostname, and remove the -f option. If there's no hostname command,
# explicitly replace `hostname -f` with the hostname.
HOSTNAME=`hostname -f`

LOCK="${TO}/Archive-Update-in-Progress-${HOSTNAME}"

# Get in the right directory and set the umask to be group writable
#
cd $HOME
umask 002

# Check to see if another sync is in progress
if lockfile -! -l 43200 -r 0 "$LOCK"; then
echo ${HOSTNAME} is unable to start rsync, lock file exists
exit 1
fi
# Note: on some non-Debian systems, trap doesn't accept "exit" as signal
# specification. If that's the case on your system, try using "0".
trap "rm -f $LOCK > /dev/null 2>&1" exit

set +e
rsync --recursive --links --hard-links --times --verbose --compress
--delete \
--exclude "Archive-Update-in-Progress-${HOSTNAME}" \
--exclude "project/trace/*" \
$EXCLUDE \
$OTHEROPTS \
$RSYNC_HOST::$RSYNC_DIR $TO > ${TO}/project/trace/rsync.log 2>&1
date -u > "${TO}/project/trace/${HOSTNAME}"

# Note: if you don't have savelog, use any other log rotation facility, or
# comment this out, the log will simply be overwritten each time.
savelog ${TO}/project/trace/rsync.log > /dev/null 2>&1



--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org

9 réponses

Avatar
Benoît «Beny» Pineau
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

Nicolas Montauban wrote:
| Bonjour.
|
| Nouveau sur la liste et nouveau venu à Debian
|
| Je souhaiterais faire un miroir local de la distribution debian: la
| version stable sans les sources.
|
| J'ai utilisé le script suivant (ci-après) et au bout de 20 go de fichiers
| téléchargés je désespère.
| Il m'a semblé qu'il y en avait pour 10 Go.
|
| Un script fonctionnel serait le bienvenu.

Regarde du coté de debmirror(*), ca devrait de convenir

beny

(*) [apt-cache show|apt-get install] debmirror
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.2.4 (GNU/Linux)
Comment: Using GnuPG with Thunderbird - http://enigmail.mozdev.org

iD8DBQFA4Fvwla+QzEobuyARAsdWAKCzueorHj2zlK0dLYopdqDAP0j5QACgiKrO
Ei8G8VRNscyKPRngUi2SkU4 =z0vY
-----END PGP SIGNATURE-----


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Julien Louis
On Mon, Jun 28, 2004 at 09:49:56PM +0400, Nicolas Montauban wrote:
Bonjour.



Bonjour,

Nouveau sur la liste et nouveau venu à Debian

Je souhaiterais faire un miroir local de la distribution debian: la
version stable sans les sources.

J'ai utilisé le script suivant (ci-après) et au bout de 20 go de fichiers
téléchargés je désespère.
Il m'a semblé qu'il y en avait pour 10 Go.

Un script fonctionnel serait le bienvenu.



Tu peux installer apt-move, il est fonctionnel et très bien comme
logiciel.

--
Car nous devons soit admettre qu'il a une certaine étendue en dehors de
la matière, soit que Dieu ne pouvait pas créer une matière finie ; en
effet, nous ne pouvons pas concevoir une matière finie si ce n'est comme
entourée par une certaine étendue infinie.
-+- Henry More, Enchiridium metaphysicum,
part. I, chap. VI, 1671 -+-


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Yves Rutschle
On Mon, Jun 28, 2004 at 07:57:04PM +0200, Benoît «Beny» Pineau wrote:
| Je souhaiterais faire un miroir local de la distribution debian: la
| version stable sans les sources.

Regarde du coté de debmirror(*), ca devrait de convenir



Et/ou apt-proxy, selon ce que tu veux faire.

Y. - a-proxy-matif.


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Nicolas Montauban
Bonjour.

| Je souhaiterais faire un miroir local de la distribution debian: la
| version stable sans les sources.

Regarde du coté de debmirror(*), ca devrait de convenir



Et/ou apt-proxy, selon ce que tu veux faire.

Y. - a-proxy-matif.




J'aimerais bien installé tout cela mais je ne connais rien encore sur
cette distribution. Les seules machines que j'ai sous la main: Mandrake et
trustix.
Comme je suis novice sur cette distrib, je les met en local sur mon ftp.
Et je procède à l'installation par ftp.

La vie ne m'a pas gaté: je déteste le cdrom et en plus j'habite dans une
ile où l'adsl est 3x plus chère pour une qualité 10x moins bonne.

Un petit rsync m'enchanterait, le temps que je fasse l'habitude avec la
debian

Cordialement,
Nicolas M.


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Julien Louis
On Mon, Jun 28, 2004 at 07:19:51PM +0100, Yves Rutschle wrote:

Et/ou apt-proxy, selon ce que tu veux faire.



On pourra noter aussi apt-cacher qui a le meme but qu'apt-proxy.

--
Sur la route, j'ai deux grands principes : prudence, prudence.
-+- Philippe Geluck, Le chat -+-


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Aurélien Beaujean
Le lundi 28 juin 2004 à 21:49, Nicolas Montauban écrivait:
J'ai utilisé le script suivant (ci-après) et au bout de 20 go de
fichiers téléchargés je désespère. Il m'a semblé qu'il y en avait
pour 10 Go.



Perdu :-). Remarque tu y étais presque, il y en a pour un peu moins de
30Go.

--
BOFH excuse #440: Cache miss - please take better aim next time


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Julien Louis
On Mon, Jun 28, 2004 at 10:53:47PM +0400, Nicolas Montauban wrote:

J'aimerais bien installé tout cela mais je ne connais rien encore sur
cette distribution. Les seules machines que j'ai sous la main: Mandrake et
trustix.
Comme je suis novice sur cette distrib, je les met en local sur mon ftp.
Et je procède à l'installation par ftp.



J'ai écris une petite documentation sur apt-move/apt-proxy/apt-cacher
et bientôt d'autres je pense. Tu pourras la trouver ici :
http://ptitlouis.dyndns.org/~ptitlouis/doc/

En espérant que cela t'aidera

P.S: si tu as des remarques dessus n'hésite pas ;)

--
Ed, I hid a pat,
I bit a rag,
I jig a bat,
I hit a cab,
I bib a cat,
I hit a bag,
I jig a rat,
I bit a pad --
I hide !
-- Hoey, Dan


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
J.Pierre Pourrez
Le 28/06/04 à 22:53, Nicolas Montauban écrivait:

Bonjour.

J'aimerais bien installé tout cela mais je ne connais rien encore sur
cette distribution. Les seules machines que j'ai sous la main: Mandrake et
trustix.
Comme je suis novice sur cette distrib, je les met en local sur mon ftp.
Et je procède à l'installation par ftp.



La distribution Debian existe en 3 versions ou saveurs (flavor):
- Woody ou stable publié depuis 2ans où on ne fait que des corrections
de bugs très stable et très sure, utilisé en principe sur les serveurs
- Sarge ou testing. les logiciels ont des fonctionnalités assez
récentes. Il n'y a pas trop de soucis avec. Actuellement c'est celle
qu'on a en général à la maison.
- Sid ou unstable. On a les toutes dernières fonctionalités même si ce
n'est pas stable. Réservé aux pros qui ont le temps de tremper les
mains dans le cambouis ;-)

Chaque logiciel existe donc au minimum en 3 versions d'où le grand
nombre de Go que tu récupéres.

Si tu veux savoir les paquets à télécharger, récupére déja les
fichiers Packages.gz dans les répertoires
debian/dists/sarge/xxxx/binary-i386/Packages.gz
avec xxxx dans les 3 valeurs suivantes : main contrib non-free

La vie ne m'a pas gaté: je déteste le cdrom et en plus j'habite dans une
ile où l'adsl est 3x plus chère pour une qualité 10x moins bonne.


Télécharge quand le 1er CD. Si tu plantes ta machine, il te servira pour
dépanner. Profites en pour apprendre à utiliser jigdo pour mettre à jour
to cd.

Un petit rsync m'enchanterait, le temps que je fasse l'habitude avec la
debian



Rsync n'est pas adapté pour ce job. voir apt-move ou apt-proxy

Bon courage.

Jean-Pierre Pourrez


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Nicolas Montauban
Bonjour.

http://ptitlouis.dyndns.org/~ptitlouis/doc/



Merci pour le lien, mais apt-move m'a viré mes 20Go de données déjà
récupérées.
Pour un reste de 40 Mo, qui sont en fait mes fichiers d'install.

j'ai utilisé debmirror:
debmirror -h ftp.fr.debian.org -a i386 -s main,contrib -p -m
--skippackages /home/nicolas/debian

Est-ce que avec ça j'obtiens bien la mise en mirroir de la debian stable ?

Comment fait on pour avoir les updates ?

Ca coupe à chaque fois debmirror, est-ce due à ma pitoyable liaison ou le
fait que j'ai installé sarge-i386-netinst.iso ?

Pas taper, je découvre.
Nicolas M.


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact