OVH Cloud OVH Cloud

[WDxx] lenteur hsupprime - resultat des tests

14 réponses
Avatar
patrice
Bonjour

Soit un fichier de 600Mo, contenant environ 2.5millions de fiches, taille
d'enregistrement 172 octets
Une routine de suppression:
chercher toutes les fiches correspondant au filtre, mettre les n°
d'enregistrement dans un tableau
- debut mesure
pour tout rec de montableau, hsupprime(monfichier, rec)
- fin mesure

pc avec 512Mo + 768Mo de swap, essai en local

Avec 2 clé (une dateheure, et un idunique):
taille fichier index 82Mo; 2 index; 0s pour hsupprimer 2000 fiches
je coche 2 champ numérique (sur 4) comme clé avec doublon :
taille fichier index 154Mo;4 index; 13s pour 2000 fiches
je coche 2 champ numérique (sur 4) comme clé avec doublon:
taille fichier index: 226 Mo: 6 index; 34s pour 2000 fiches

pour finir par un magistral:
taille fichier index: 1Go: 18 index, 200s pour 2000 fiches
d'ailleurs à ce stade, la reindexation prend environ 40minutes

ca augmente en fonction du nombre de clé, et avec le cpu qui fout rien
pendant la suppression.

je crois que je vais essayer de programmer :
copie du ORG.FIC en SAV.FIC
création d'un hdecritfichier identique à ORG.FIC mais sans les index pour
ouverture du SAV.FIC
suppression dans le SAV
reindexation du sav
déplacement du SAV.FIC+NDX en ORG.FIC+NDX

mais j'en ai franchement raz les sacoches de perdre du temps à contourner
les problèmes d'un outil qui est censé nous en faire gagner.

4 réponses

1 2
Avatar
Réal Phil
le temps est de l'ordre de celui de la réindexation.
soit moins d'une heure pour supprimer 200Mo de fiche
(contre 12h environ avec les hsupprime)

Quelques alternatives peuvent aussi être essayés;
_ POUR TOUT (au lieu du tantque) réduit le code
_ Requête SQL



n'a rien changé dans mon cas, ce n'est pas le code de programmation de
la
suppression mais le hsupprime qui rame
donc la morale: avec beaucoup d'index et un gros fichier, ne pas faire
de
hsupprime en masse
---------------------------------------------------------------

Excuse, j'ai des problèmes avec Google Groupes, je ne vois pas bien
les messages en séquence....

Moins d'une heure contre 12 heures, mais c'est super non?
Mais tu n'avais pas parlé de 35 minutes au début?
Avatar
Daniel
Bonsoir,
patrice a écrit :
"Réal Phil" a écrit dans le message de
news:

Intéressant, mais on est curieux de savoir: quel est le temps total
final du processus avec cette méthode ?



le temps est de l'ordre de celui de la réindexation.
soit moins d'une heure pour supprimer 200Mo de fiche
(contre 12h environ avec les hsupprime)

Quelques alternatives peuvent aussi être essayés;
_ POUR TOUT (au lieu du tantque) réduit le code
_ Requête SQL


n'a rien changé dans mon cas, ce n'est pas le code de programmation de la
suppression mais le hsupprime qui rame
donc la morale: avec beaucoup d'index et un gros fichier, ne pas faire de
hsupprime en masse





sous quelle version de HF es tu?

Dans le cas où tu serais sous HF classique, tes suppressions tu les fais
à partir d'un poste client ou directement sur le serveur de fichier?

--
suivre ce lien pour répondre:
http://cerbermail.com/?2KrV3YZXnn
Daniel
;-)
Avatar
patrice
"Réal Phil" a écrit dans le message de
news:
Excuse, j'ai des problèmes avec Google Groupes, je ne vois pas bien
les messages en séquence....


ya ka utiliser un client news décent

Moins d'une heure contre 12 heures, mais c'est super non?
Mais tu n'avais pas parlé de 35 minutes au début?


c'était dans une autre appli, mais la j'ai pas le choix, c'est du multiuser
Avatar
patrice
"Daniel" a écrit dans le message de
news:
sous quelle version de HF es tu?


la derniere en wd10

Dans le cas où tu serais sous HF classique, tes suppressions tu les fais
à partir d'un poste client ou directement sur le serveur de fichier?


j'ai essaye en local (disque raid ide) et avec un dossier réseau (ligne à
1gb), pas de différence notable
1 2