salut la liste
je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
ca a pris 30minutes
puis
while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner
ca a pris 78 minutes.
bon, à la prod, personne n'a rien dit. vous etes les premires à en
être au courant.
y a t-il un autre moyen plus économique vis à vis du stockage et du
système ( CPU mémoire) de faire de telles choses, je vais le tester
demain sur un lot de 7 Millions de fichiers.
d'avance merci de vos réponses.
salut la liste
je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
ca a pris 30minutes
puis
while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner
ca a pris 78 minutes.
bon, à la prod, personne n'a rien dit. vous etes les premires à en
être au courant.
y a t-il un autre moyen plus économique vis à vis du stockage et du
système ( CPU mémoire) de faire de telles choses, je vais le tester
demain sur un lot de 7 Millions de fichiers.
d'avance merci de vos réponses.
salut la liste
je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
ca a pris 30minutes
puis
while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner
ca a pris 78 minutes.
bon, à la prod, personne n'a rien dit. vous etes les premires à en
être au courant.
y a t-il un autre moyen plus économique vis à vis du stockage et du
système ( CPU mémoire) de faire de telles choses, je vais le tester
demain sur un lot de 7 Millions de fichiers.
d'avance merci de vos réponses.
je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
ca a pris 30minutes
puis
while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner
ca a pris 78 minutes.
y a t-il un autre moyen plus économique vis à vis du stockage et du
système ( CPU mémoire) de faire de telles choses, je vais le tester
demain sur un lot de 7 Millions de fichiers.
je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
ca a pris 30minutes
puis
while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner
ca a pris 78 minutes.
y a t-il un autre moyen plus économique vis à vis du stockage et du
système ( CPU mémoire) de faire de telles choses, je vais le tester
demain sur un lot de 7 Millions de fichiers.
je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
ca a pris 30minutes
puis
while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner
ca a pris 78 minutes.
y a t-il un autre moyen plus économique vis à vis du stockage et du
système ( CPU mémoire) de faire de telles choses, je vais le tester
demain sur un lot de 7 Millions de fichiers.
Chez moi, mon listdir contient prés de 20'000 lignes et pèse prés d e 660
ko, mon listowner approximativement 250'000 lignes et 15 Mo !!
Chez moi, mon listdir contient prés de 20'000 lignes et pèse prés d e 660
ko, mon listowner approximativement 250'000 lignes et 15 Mo !!
Chez moi, mon listdir contient prés de 20'000 lignes et pèse prés d e 660
ko, mon listowner approximativement 250'000 lignes et 15 Mo !!
Bonjour à tous les utilisateurs et développeurs de Debian :
Le mercredi 8 octobre 2014 à 17:03, admini a écrit :je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
25 millions de fichiers !! J'ai bien cru halluciner... o_O
Travailles-tu sur un - très gros - serveur de fichiers ?
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
ca a pris 30minutes
puis
while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner
ca a pris 78 minutes.
J'ai tenté l'expérience mais sur l'ensemble de l'arborescence donc avec la
commande "find / -type d > listdir" puis j'ai passé ta seconde commande.
Je n'ai pas rigoureusement chronométré mais ça m'a pris certainement moins de
5 min pour chacune des deux commandes.
Je ne sais pas quelle est la configuration matérielle de ta machine, mais, pour
ton information, mon ordinateur (de bureau) possède, brièvement, un processeur
dual-core Athlon 64 bits à 3 GHz, une mémoire centrale DDR3 de 8 Go à 800 MHz
et 2 disques durs Western Digital VelociRaptor SATA2 de 1 To à 10'000 tr/min
chacun.
Juste par curiosité, peux-tu nous dire combien pèsent tes deux fichiers listdir
et listowner (qui doivent contenir les informations sur les quelques 7
millions de fichiers) ?
Chez moi, mon listdir contient prés de 20'000 lignes et pèse prés de 660 ko,
mon listowner approximativement 250'000 lignes et 15 Mo !!
y a t-il un autre moyen plus économique vis à vis du stockage et du
système ( CPU mémoire) de faire de telles choses, je vais le tester
demain sur un lot de 7 Millions de fichiers.
Je n'ai pas de réponse(s) toute(s) faite(s) à te proposer - d'autant que mes
connaissances au niveau de la ligne de commande restent bien limitées - mais
as-tu pensé à regarder du coté des commandes 'ls', 'sed' voire 'awk' ?
Cordialement et à bientôt,
Stéphane.
Bonjour à tous les utilisateurs et développeurs de Debian :
Le mercredi 8 octobre 2014 à 17:03, admini <admini@freeatome.com> a écrit :
je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
25 millions de fichiers !! J'ai bien cru halluciner... o_O
Travailles-tu sur un - très gros - serveur de fichiers ?
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
ca a pris 30minutes
puis
while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner
ca a pris 78 minutes.
J'ai tenté l'expérience mais sur l'ensemble de l'arborescence donc avec la
commande "find / -type d > listdir" puis j'ai passé ta seconde commande.
Je n'ai pas rigoureusement chronométré mais ça m'a pris certainement moins de
5 min pour chacune des deux commandes.
Je ne sais pas quelle est la configuration matérielle de ta machine, mais, pour
ton information, mon ordinateur (de bureau) possède, brièvement, un processeur
dual-core Athlon 64 bits à 3 GHz, une mémoire centrale DDR3 de 8 Go à 800 MHz
et 2 disques durs Western Digital VelociRaptor SATA2 de 1 To à 10'000 tr/min
chacun.
Juste par curiosité, peux-tu nous dire combien pèsent tes deux fichiers listdir
et listowner (qui doivent contenir les informations sur les quelques 7
millions de fichiers) ?
Chez moi, mon listdir contient prés de 20'000 lignes et pèse prés de 660 ko,
mon listowner approximativement 250'000 lignes et 15 Mo !!
y a t-il un autre moyen plus économique vis à vis du stockage et du
système ( CPU mémoire) de faire de telles choses, je vais le tester
demain sur un lot de 7 Millions de fichiers.
Je n'ai pas de réponse(s) toute(s) faite(s) à te proposer - d'autant que mes
connaissances au niveau de la ligne de commande restent bien limitées - mais
as-tu pensé à regarder du coté des commandes 'ls', 'sed' voire 'awk' ?
Cordialement et à bientôt,
Stéphane.
Bonjour à tous les utilisateurs et développeurs de Debian :
Le mercredi 8 octobre 2014 à 17:03, admini a écrit :je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
25 millions de fichiers !! J'ai bien cru halluciner... o_O
Travailles-tu sur un - très gros - serveur de fichiers ?
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
ca a pris 30minutes
puis
while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner
ca a pris 78 minutes.
J'ai tenté l'expérience mais sur l'ensemble de l'arborescence donc avec la
commande "find / -type d > listdir" puis j'ai passé ta seconde commande.
Je n'ai pas rigoureusement chronométré mais ça m'a pris certainement moins de
5 min pour chacune des deux commandes.
Je ne sais pas quelle est la configuration matérielle de ta machine, mais, pour
ton information, mon ordinateur (de bureau) possède, brièvement, un processeur
dual-core Athlon 64 bits à 3 GHz, une mémoire centrale DDR3 de 8 Go à 800 MHz
et 2 disques durs Western Digital VelociRaptor SATA2 de 1 To à 10'000 tr/min
chacun.
Juste par curiosité, peux-tu nous dire combien pèsent tes deux fichiers listdir
et listowner (qui doivent contenir les informations sur les quelques 7
millions de fichiers) ?
Chez moi, mon listdir contient prés de 20'000 lignes et pèse prés de 660 ko,
mon listowner approximativement 250'000 lignes et 15 Mo !!
y a t-il un autre moyen plus économique vis à vis du stockage et du
système ( CPU mémoire) de faire de telles choses, je vais le tester
demain sur un lot de 7 Millions de fichiers.
Je n'ai pas de réponse(s) toute(s) faite(s) à te proposer - d'autant que mes
connaissances au niveau de la ligne de commande restent bien limitées - mais
as-tu pensé à regarder du coté des commandes 'ls', 'sed' voire 'awk' ?
Cordialement et à bientôt,
Stéphane.
A tester en une passe :
find . -printf "%p %u %gn" > listowner
Guy
Le 08/10/2014 19:03, admini a écrit :salut la liste
je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
ca a pris 30minutes
puis
while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner
ca a pris 78 minutes.
bon, à la prod, personne n'a rien dit. vous etes les premires à en
être au courant.
y a t-il un autre moyen plus économique vis à vis du stockage et du
système ( CPU mémoire) de faire de telles choses, je vais le tester
demain sur un lot de 7 Millions de fichiers.
d'avance merci de vos réponses.
A tester en une passe :
find . -printf "%p %u %gn" > listowner
Guy
Le 08/10/2014 19:03, admini a écrit :
salut la liste
je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
ca a pris 30minutes
puis
while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner
ca a pris 78 minutes.
bon, à la prod, personne n'a rien dit. vous etes les premires à en
être au courant.
y a t-il un autre moyen plus économique vis à vis du stockage et du
système ( CPU mémoire) de faire de telles choses, je vais le tester
demain sur un lot de 7 Millions de fichiers.
d'avance merci de vos réponses.
A tester en une passe :
find . -printf "%p %u %gn" > listowner
Guy
Le 08/10/2014 19:03, admini a écrit :salut la liste
je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
ca a pris 30minutes
puis
while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner
ca a pris 78 minutes.
bon, à la prod, personne n'a rien dit. vous etes les premires à en
être au courant.
y a t-il un autre moyen plus économique vis à vis du stockage et du
système ( CPU mémoire) de faire de telles choses, je vais le tester
demain sur un lot de 7 Millions de fichiers.
d'avance merci de vos réponses.
salut la liste
je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
salut la liste
je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
salut la liste
je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
les fichers vont de 1Ko à qqs centaines de Mo. le serveur est virtualisé
sous ESX avec un vCPU et 4Go de RAM. la cadence du vCPU est gérée par la
ferme ESX. les disques sont des disques SAN en raid5. c'est du sata
7200ppm, mais des disques de stockage quoi. on ne peut pas vraiment
faire de comparaison avec des disques dits "grand publique". c'est vrai
que le raid5 n'aide pas pour la perfe.
les fichers vont de 1Ko à qqs centaines de Mo. le serveur est virtualisé
sous ESX avec un vCPU et 4Go de RAM. la cadence du vCPU est gérée par la
ferme ESX. les disques sont des disques SAN en raid5. c'est du sata
7200ppm, mais des disques de stockage quoi. on ne peut pas vraiment
faire de comparaison avec des disques dits "grand publique". c'est vrai
que le raid5 n'aide pas pour la perfe.
les fichers vont de 1Ko à qqs centaines de Mo. le serveur est virtualisé
sous ESX avec un vCPU et 4Go de RAM. la cadence du vCPU est gérée par la
ferme ESX. les disques sont des disques SAN en raid5. c'est du sata
7200ppm, mais des disques de stockage quoi. on ne peut pas vraiment
faire de comparaison avec des disques dits "grand publique". c'est vrai
que le raid5 n'aide pas pour la perfe.
salut la liste
je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
ca a pris 30minutes
puis
while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner
ca a pris 78 minutes.
bon, à la prod, personne n'a rien dit. vous etes les premires à en être au
courant.
y a t-il un autre moyen plus économique vis à vis du stockage e t du
système ( CPU mémoire) de faire de telles choses, je vais le te ster demain
sur un lot de 7 Millions de fichiers.
d'avance merci de vos réponses.
--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists" target="_blank" class="text-blue hover:opacity-90 " style="word-break: break-all;" rel="noopener nofollow">http://wiki.debian.org/fr/FrenchLists
Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
salut la liste
je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
ca a pris 30minutes
puis
while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner
ca a pris 78 minutes.
bon, à la prod, personne n'a rien dit. vous etes les premires à en être au
courant.
y a t-il un autre moyen plus économique vis à vis du stockage e t du
système ( CPU mémoire) de faire de telles choses, je vais le te ster demain
sur un lot de 7 Millions de fichiers.
d'avance merci de vos réponses.
--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists
Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers debian-user-french-REQUEST@lists.debian.org
En cas de soucis, contactez EN ANGLAIS listmaster@lists.debian.org
Archive: https://lists.debian.org/54356E65.40708@freeatome.com
salut la liste
je dois parcourir, de façon resursive, pas mal de millions (25M) de
fichiers pour trouver tous les owners de tous les fichiers.
j'ai d'abord fait une expérience sur seulement 7Millions, avec
find . -type d > listdir
ca a pris 30minutes
puis
while read i ; do stat -c '%n %U %G' $i/* ;done<listdir > listowner
ca a pris 78 minutes.
bon, à la prod, personne n'a rien dit. vous etes les premires à en être au
courant.
y a t-il un autre moyen plus économique vis à vis du stockage e t du
système ( CPU mémoire) de faire de telles choses, je vais le te ster demain
sur un lot de 7 Millions de fichiers.
d'avance merci de vos réponses.
--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/fr/FrenchLists" target="_blank" class="text-blue hover:opacity-90 " style="word-break: break-all;" rel="noopener nofollow">http://wiki.debian.org/fr/FrenchLists
Pour vous DESABONNER, envoyez un message avec comme objet "unsubscribe"
vers
En cas de soucis, contactez EN ANGLAIS
Archive: https://lists.debian.org/
Pourquoi ne pas utiliser la base de donnée de la commande locate ?
Pourquoi ne pas utiliser la base de donnée de la commande locate ?
Pourquoi ne pas utiliser la base de donnée de la commande locate ?