OVH Cloud OVH Cloud

parcours de millions de fichiers

27 réponses
Avatar
admini
salut la liste

je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.

j'ai d'abord fait une expérience sur seulement 7Millions, avec

find . -type d > listdir

ca a pris 30minutes

puis

while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner

ca a pris 78 minutes.

bon, à la prod, personne n'a rien dit. vous etes les premires à en être
au courant.


y a t-il un autre moyen plus économique vis à vis du stockage et du
système ( CPU mémoire) de faire de telles choses, je vais le tester
demain sur un lot de 7 Millions de fichiers.

d'avance merci de vos réponses.

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers debian-user-french-REQUEST@lists.debian.org
En cas de soucis, contactez EN ANGLAIS listmaster@lists.debian.org
Archive: https://lists.debian.org/54356E65.40708@freeatome.com

7 réponses

1 2 3
Avatar
Philippe Gras
Je remonte ce sujet parce que je n'ai pas de tâche cron pour Locate,

Dans crontab je n'ai que les tâches que j'ai moi-même programmées.

Y a-t-il un autre endroit où locate se mettrait à jour ?

Sur la doc. Ubuntu, il est écrit que Locate se met à jour avec Anacron.

J'ai des fichiers Anacron sur ma Debian, mais ce programme n'a pas
l'air d'être déployé.

Il n'est pas mentionné dans le détail du paquet locate.

Je cherche cette tâche cron dans le but de la désactiver, si elle
existe.

Le 9 oct. 14 à 11:06, daniel huhardeaux a écrit :

Le 09/10/2014 10:55, Sébastien NOBILI a écrit :
[...]
Il suffit de retirer la màj de cron et le tour est joué.


Retirer la mise-à-jour de cron rend l'intérêt de locate plutôt
limité. L'idée
lancée par Belaïd était justement de profiter du fait que la base
locate est à
jour et que donc la réponse sera rapide. Si la base n'est plus à
jour, la
réponse ne sera plus rapide et donc la solution perd tout son
intérêt.



Il faut lire ce que j'ai écrit: j'ai répondu à François qui disait
que le update de la base se faisait automatiquement => non, c'est
une tâche cron qui s'en occupe, on peut donc désactiver cette màj
auto. Ce qui fait que pour le problème cité par Belaïd on peut
parfaitement installer et utiliser locate -en faisant le update une
fois avant la recherche- puis le laisser sur le serveur _sans_ que
cela n'induise le problème soulevé par François. Dans 6 mois il lui
suffira de refaire l'update manuellement avant la nouvelle recherche.

--
Daniel

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet
"unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/




--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
Avatar
Daniel Huhardeaux
Le 16/10/2014 21:55, Philippe Gras a écrit :
Je remonte ce sujet parce que je n'ai pas de tâche cron pour Locate,

Dans crontab je n'ai que les tâches que j'ai moi-même programmées.

Y a-t-il un autre endroit où locate se mettrait à jour ?

Sur la doc. Ubuntu, il est écrit que Locate se met à jour avec Anacron.

J'ai des fichiers Anacron sur ma Debian, mais ce programme n'a pas
l'air d'être déployé.

Il n'est pas mentionné dans le détail du paquet locate.

Je cherche cette tâche cron dans le but de la désactiver, si elle existe.



Wheezy: /etc/cron.daily/mlocate


Le 9 oct. 14 à 11:06, daniel huhardeaux a écrit :

Le 09/10/2014 10:55, Sébastien NOBILI a écrit :
[...]
Il suffit de retirer la màj de cron et le tour est joué.


Retirer la mise-à-jour de cron rend l'intérêt de locate plutôt
limité. L'idée
lancée par Belaïd était justement de profiter du fait que la base
locate est à
jour et que donc la réponse sera rapide. Si la base n'est plus à
jour, la
réponse ne sera plus rapide et donc la solution perd tout son intérêt.



Il faut lire ce que j'ai écrit: j'ai répondu à François qui disait
que le update de la base se faisait automatiquement => non, c'est une
tâche cron qui s'en occupe, on peut donc désactiver cette màj auto.
Ce qui fait que pour le problème cité par Belaïd on peut parfaitement
installer et utiliser locate -en faisant le update une fois avant la
recherche- puis le laisser sur le serveur _sans_ que cela n'induise
le problème soulevé par François. Dans 6 mois il lui suffira de
refaire l'update manuellement avant la nouvelle recherche.

--
Daniel

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/







--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
Avatar
Sébastien NOBILI
Bonsoir,

Le jeudi 16 octobre 2014 à 21:55, Philippe Gras a écrit :
Je remonte ce sujet parce que je n'ai pas de tâche cron pour Locate,

Dans crontab je n'ai que les tâches que j'ai moi-même programmées.

Y a-t-il un autre endroit où locate se mettrait à jour ?



Chez moi (Wheezy) :
$ dpkg -L locate | grep cron
/etc/cron.daily
/etc/cron.daily/locate

Seb

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
Avatar
Philippe Gras
Le 16 oct. 14 à 22:35, Sébastien NOBILI a écrit :

Bonsoir,

Le jeudi 16 octobre 2014 à 21:55, Philippe Gras a écrit :
Je remonte ce sujet parce que je n'ai pas de tâche cron pour Locate,

Dans crontab je n'ai que les tâches que j'ai moi-même programmées.

Y a-t-il un autre endroit où locate se mettrait à jour ?



Chez moi (Wheezy) :
$ dpkg -L locate | grep cron
/etc/cron.daily
/etc/cron.daily/locate

Seb



J'ai aussi :-) , merci Seb ! J'ai ouvert le fichier, mais si je vois
bien des
références à cron.daily, je n'en vois pas à une date/heure précise.

Cela veut-il dire qu'il faudrait que je programme une tâche, et qu'à ce
moment seulement, elle activera le fichier locate dans cron.daily ?

Ph. Gras

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet
"unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/





--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
Avatar
Francois Lafont
Bonjour,

Le 19/10/2014 13:12, Philippe Gras a écrit :

Chez moi (Wheezy) :
$ dpkg -L locate | grep cron
/etc/cron.daily
/etc/cron.daily/locate

Seb



J'ai aussi :-) , merci Seb ! J'ai ouvert le fichier, mais si je vois bien des
références à cron.daily, je n'en vois pas à une date/heure précise.



Sur ma Wheezy, c'est dans le fichier /etc/crontab que cette information
est donnée. En effet, dans ce fichier, j'ai cette ligne :

25 6 * * * root test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.daily )

Ce qui veut dire que les programmes dans /etc/cron.daily/ sont lancés
tous les jours à 6h25. D'après la page man de run-parts, les programmes
sont lancés séquentiellement dans l'ordre alphabétique.

Cela veut-il dire qu'il faudrait que je programme une tâche, et qu'à ce
moment seulement, elle activera le fichier locate dans cron.daily ?



Désolé, je n'ai pas compris ta question.

--
François Lafont

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/m20ckv$l35$
Avatar
Francois Lafont
Le 19/10/2014 15:00, Francois Lafont a écrit :

Sur ma Wheezy, c'est dans le fichier /etc/crontab que cette information
est donnée. En effet, dans ce fichier, j'ai cette ligne :

25 6 * * * root test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.daily )

Ce qui veut dire que les programmes dans /etc/cron.daily/ sont lancés
tous les jours à 6h25.



... enfin sauf si anacron est installé, auquel cas j'imagine que
c'est lui qui se chargera de lancer les programmes du répertoire
/etc/cron.daily/.

--
François Lafont

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/m20d03$odi$
Avatar
Philippe Gras
Le 19 oct. 14 à 15:00, Francois Lafont a écrit :

Bonjour,

Le 19/10/2014 13:12, Philippe Gras a écrit :

Chez moi (Wheezy) :
$ dpkg -L locate | grep cron
/etc/cron.daily
/etc/cron.daily/locate

Seb



J'ai aussi :-) , merci Seb ! J'ai ouvert le fichier, mais si je
vois bien des
références à cron.daily, je n'en vois pas à une date/heure précise.



Sur ma Wheezy, c'est dans le fichier /etc/crontab que cette
information
est donnée. En effet, dans ce fichier, j'ai cette ligne :

25 6 * * * root test -x /usr/sbin/anacron || ( cd / && run-
parts --report /etc/cron.daily )

Ce qui veut dire que les programmes dans /etc/cron.daily/ sont lancés
tous les jours à 6h25. D'après la page man de run-parts, les
programmes
sont lancés séquentiellement dans l'ordre alphabétique.

Cela veut-il dire qu'il faudrait que je programme une tâche, et
qu'à ce
moment seulement, elle activera le fichier locate dans cron.daily ?



Désolé, je n'ai pas compris ta question.



C'est parce que justement, je n'ai pas anacron, et pas cette ligne
dans crontab :-)

Pour le coup, la question est dans la réponse ;-)

--
François Lafont

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet
"unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/m20ckv$l35$




--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists

Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
1 2 3