Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et
compilation dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé externe.
Donc pour toutes mes lignes, je fais une requête pour recupérer cette id.
Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour chaque
occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne rechercher
les Id (plus d'autres choses, mais ce sont les requetes qui plombent!), 13
mn (Gasp !). Un peu mieux en passant de Innodb à MyISAM mais tjrs trop
long. En enlevant le trt des requetes, je passe à 19 secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de
faire "comme un select distinct" des valeurs d'une colonne pour ne pas
balancer 100 fois la requete de recup de l'id si c'est plusieurs fois le
mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide ?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable en
fn de n'importe quel fichier excel. Je ne cherche pas à automatiser un trt
bien particulier (ça je sais faire) mais à faire un outil générique pas
trop lent.
Merci de vos réponses.
--
Eric Roumégou
Webmaster des wtabletes
http://cerbermail.com/?qE7t4Qvilo
(cliquez sur le lien ci-dessus pour me contacter en privé)
Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et
compilation dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé externe.
Donc pour toutes mes lignes, je fais une requête pour recupérer cette id.
Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour chaque
occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne rechercher
les Id (plus d'autres choses, mais ce sont les requetes qui plombent!), 13
mn (Gasp !). Un peu mieux en passant de Innodb à MyISAM mais tjrs trop
long. En enlevant le trt des requetes, je passe à 19 secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de
faire "comme un select distinct" des valeurs d'une colonne pour ne pas
balancer 100 fois la requete de recup de l'id si c'est plusieurs fois le
mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide ?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable en
fn de n'importe quel fichier excel. Je ne cherche pas à automatiser un trt
bien particulier (ça je sais faire) mais à faire un outil générique pas
trop lent.
Merci de vos réponses.
--
Eric Roumégou
Webmaster des wtabletes
http://cerbermail.com/?qE7t4Qvilo
(cliquez sur le lien ci-dessus pour me contacter en privé)
Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et
compilation dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé externe.
Donc pour toutes mes lignes, je fais une requête pour recupérer cette id.
Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour chaque
occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne rechercher
les Id (plus d'autres choses, mais ce sont les requetes qui plombent!), 13
mn (Gasp !). Un peu mieux en passant de Innodb à MyISAM mais tjrs trop
long. En enlevant le trt des requetes, je passe à 19 secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de
faire "comme un select distinct" des valeurs d'une colonne pour ne pas
balancer 100 fois la requete de recup de l'id si c'est plusieurs fois le
mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide ?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable en
fn de n'importe quel fichier excel. Je ne cherche pas à automatiser un trt
bien particulier (ça je sais faire) mais à faire un outil générique pas
trop lent.
Merci de vos réponses.
--
Eric Roumégou
Webmaster des wtabletes
http://cerbermail.com/?qE7t4Qvilo
(cliquez sur le lien ci-dessus pour me contacter en privé)
solution préconisée:
chargement dans une table MySQL spécialement prévue à cet effet,
3 update pour affecter les id,
3 insert
c'est fini
"Roumégou Eric" a écrit dans le message de news:Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et
compilation dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé externe.
Donc pour toutes mes lignes, je fais une requête pour recupérer cette id.
Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour chaque
occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne rechercher
les Id (plus d'autres choses, mais ce sont les requetes qui plombent!), 13
mn (Gasp !). Un peu mieux en passant de Innodb à MyISAM mais tjrs trop
long. En enlevant le trt des requetes, je passe à 19 secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de
faire "comme un select distinct" des valeurs d'une colonne pour ne pas
balancer 100 fois la requete de recup de l'id si c'est plusieurs fois le
mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide ?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable en
fn de n'importe quel fichier excel. Je ne cherche pas à automatiser un trt
bien particulier (ça je sais faire) mais à faire un outil générique pas
trop lent.
Merci de vos réponses.
-- Eric Roumégou
Webmaster des wtabletes
http://cerbermail.com/?qE7t4Qvilo
(cliquez sur le lien ci-dessus pour me contacter en privé)
solution préconisée:
chargement dans une table MySQL spécialement prévue à cet effet,
3 update pour affecter les id,
3 insert
c'est fini
"Roumégou Eric" <UtilisezleLien@fin.msg> a écrit dans le message de news:
mn.8aeb7d8c17a438f2.97767@fin.msg...
Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et
compilation dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé externe.
Donc pour toutes mes lignes, je fais une requête pour recupérer cette id.
Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour chaque
occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne rechercher
les Id (plus d'autres choses, mais ce sont les requetes qui plombent!), 13
mn (Gasp !). Un peu mieux en passant de Innodb à MyISAM mais tjrs trop
long. En enlevant le trt des requetes, je passe à 19 secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de
faire "comme un select distinct" des valeurs d'une colonne pour ne pas
balancer 100 fois la requete de recup de l'id si c'est plusieurs fois le
mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide ?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable en
fn de n'importe quel fichier excel. Je ne cherche pas à automatiser un trt
bien particulier (ça je sais faire) mais à faire un outil générique pas
trop lent.
Merci de vos réponses.
-- Eric Roumégou
Webmaster des wtabletes
http://cerbermail.com/?qE7t4Qvilo
(cliquez sur le lien ci-dessus pour me contacter en privé)
solution préconisée:
chargement dans une table MySQL spécialement prévue à cet effet,
3 update pour affecter les id,
3 insert
c'est fini
"Roumégou Eric" a écrit dans le message de news:Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et
compilation dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé externe.
Donc pour toutes mes lignes, je fais une requête pour recupérer cette id.
Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour chaque
occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne rechercher
les Id (plus d'autres choses, mais ce sont les requetes qui plombent!), 13
mn (Gasp !). Un peu mieux en passant de Innodb à MyISAM mais tjrs trop
long. En enlevant le trt des requetes, je passe à 19 secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de
faire "comme un select distinct" des valeurs d'une colonne pour ne pas
balancer 100 fois la requete de recup de l'id si c'est plusieurs fois le
mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide ?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable en
fn de n'importe quel fichier excel. Je ne cherche pas à automatiser un trt
bien particulier (ça je sais faire) mais à faire un outil générique pas
trop lent.
Merci de vos réponses.
-- Eric Roumégou
Webmaster des wtabletes
http://cerbermail.com/?qE7t4Qvilo
(cliquez sur le lien ci-dessus pour me contacter en privé)
Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et
compilation dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé
externe. Donc pour toutes mes lignes, je fais une requête pour recupérer
cette id. Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour chaque
occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne
rechercher les Id (plus d'autres choses, mais ce sont les requetes qui
plombent!), 13 mn (Gasp !). Un peu mieux en passant de Innodb à MyISAM
mais tjrs trop long. En enlevant le trt des requetes, je passe à 19
secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de
faire "comme un select distinct" des valeurs d'une colonne pour ne pas
balancer 100 fois la requete de recup de l'id si c'est plusieurs fois le
mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide ?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable
en fn de n'importe quel fichier excel. Je ne cherche pas à automatiser
un trt bien particulier (ça je sais faire) mais à faire un outil
générique pas trop lent.
Merci de vos réponses.
Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et
compilation dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé
externe. Donc pour toutes mes lignes, je fais une requête pour recupérer
cette id. Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour chaque
occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne
rechercher les Id (plus d'autres choses, mais ce sont les requetes qui
plombent!), 13 mn (Gasp !). Un peu mieux en passant de Innodb à MyISAM
mais tjrs trop long. En enlevant le trt des requetes, je passe à 19
secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de
faire "comme un select distinct" des valeurs d'une colonne pour ne pas
balancer 100 fois la requete de recup de l'id si c'est plusieurs fois le
mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide ?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable
en fn de n'importe quel fichier excel. Je ne cherche pas à automatiser
un trt bien particulier (ça je sais faire) mais à faire un outil
générique pas trop lent.
Merci de vos réponses.
Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et
compilation dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé
externe. Donc pour toutes mes lignes, je fais une requête pour recupérer
cette id. Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour chaque
occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne
rechercher les Id (plus d'autres choses, mais ce sont les requetes qui
plombent!), 13 mn (Gasp !). Un peu mieux en passant de Innodb à MyISAM
mais tjrs trop long. En enlevant le trt des requetes, je passe à 19
secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de
faire "comme un select distinct" des valeurs d'une colonne pour ne pas
balancer 100 fois la requete de recup de l'id si c'est plusieurs fois le
mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide ?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable
en fn de n'importe quel fichier excel. Je ne cherche pas à automatiser
un trt bien particulier (ça je sais faire) mais à faire un outil
générique pas trop lent.
Merci de vos réponses.
Roumégou Eric a écrit :Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et
compilation dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé
externe. Donc pour toutes mes lignes, je fais une requête pour recupérer
cette id. Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour chaque
occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne rechercher
les Id (plus d'autres choses, mais ce sont les requetes qui plombent!),
13 mn (Gasp !). Un peu mieux en passant de Innodb à MyISAM mais tjrs trop
long. En enlevant le trt des requetes, je passe à 19 secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de
faire "comme un select distinct" des valeurs d'une colonne pour ne pas
balancer 100 fois la requete de recup de l'id si c'est plusieurs fois le
mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide ?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable
en fn de n'importe quel fichier excel. Je ne cherche pas à automatiser un
trt bien particulier (ça je sais faire) mais à faire un outil générique
pas trop lent.
Merci de vos réponses.
Solution essentiellement SQL :
tu intègres toutes tes données de ta feuille excel dans une table (pas
besoin d'index).
Ensuite en sql, tu "parses" toutes les données de ta table pour écrire les
données qui t'intéressent dans x tables. Sous innodb virer l'autocommit et
le faire dans une transaction. On peut améliorer la vitesse en demandant
de construire l'index à la fin.
Solution essentiellement Windev (ou autre langage):
tu lis ta feuille excel et tu parses directement dans un fichier texte qui
doit respecter le format des fichiers SQL de MySQL. Ensuite tu importes ce
fichier dans MySQL.
--
suivre ce lien pour répondre:
http://cerbermail.com/?2KrV3YZXnn
Daniel
;-)
Roumégou Eric a écrit :
Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et
compilation dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé
externe. Donc pour toutes mes lignes, je fais une requête pour recupérer
cette id. Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour chaque
occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne rechercher
les Id (plus d'autres choses, mais ce sont les requetes qui plombent!),
13 mn (Gasp !). Un peu mieux en passant de Innodb à MyISAM mais tjrs trop
long. En enlevant le trt des requetes, je passe à 19 secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de
faire "comme un select distinct" des valeurs d'une colonne pour ne pas
balancer 100 fois la requete de recup de l'id si c'est plusieurs fois le
mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide ?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable
en fn de n'importe quel fichier excel. Je ne cherche pas à automatiser un
trt bien particulier (ça je sais faire) mais à faire un outil générique
pas trop lent.
Merci de vos réponses.
Solution essentiellement SQL :
tu intègres toutes tes données de ta feuille excel dans une table (pas
besoin d'index).
Ensuite en sql, tu "parses" toutes les données de ta table pour écrire les
données qui t'intéressent dans x tables. Sous innodb virer l'autocommit et
le faire dans une transaction. On peut améliorer la vitesse en demandant
de construire l'index à la fin.
Solution essentiellement Windev (ou autre langage):
tu lis ta feuille excel et tu parses directement dans un fichier texte qui
doit respecter le format des fichiers SQL de MySQL. Ensuite tu importes ce
fichier dans MySQL.
--
suivre ce lien pour répondre:
http://cerbermail.com/?2KrV3YZXnn
Daniel
;-)
Roumégou Eric a écrit :Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et
compilation dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé
externe. Donc pour toutes mes lignes, je fais une requête pour recupérer
cette id. Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour chaque
occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne rechercher
les Id (plus d'autres choses, mais ce sont les requetes qui plombent!),
13 mn (Gasp !). Un peu mieux en passant de Innodb à MyISAM mais tjrs trop
long. En enlevant le trt des requetes, je passe à 19 secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de
faire "comme un select distinct" des valeurs d'une colonne pour ne pas
balancer 100 fois la requete de recup de l'id si c'est plusieurs fois le
mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide ?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable
en fn de n'importe quel fichier excel. Je ne cherche pas à automatiser un
trt bien particulier (ça je sais faire) mais à faire un outil générique
pas trop lent.
Merci de vos réponses.
Solution essentiellement SQL :
tu intègres toutes tes données de ta feuille excel dans une table (pas
besoin d'index).
Ensuite en sql, tu "parses" toutes les données de ta table pour écrire les
données qui t'intéressent dans x tables. Sous innodb virer l'autocommit et
le faire dans une transaction. On peut améliorer la vitesse en demandant
de construire l'index à la fin.
Solution essentiellement Windev (ou autre langage):
tu lis ta feuille excel et tu parses directement dans un fichier texte qui
doit respecter le format des fichiers SQL de MySQL. Ensuite tu importes ce
fichier dans MySQL.
--
suivre ce lien pour répondre:
http://cerbermail.com/?2KrV3YZXnn
Daniel
;-)
Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et
compilation dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé
externe. Donc pour toutes mes lignes, je fais une requête pour
recupérer cette id. Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour
chaque occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne
rechercher les Id (plus d'autres choses, mais ce sont les requetes qui
plombent!), 13 mn (Gasp !). Un peu mieux en passant de Innodb à MyISAM
mais tjrs trop long. En enlevant le trt des requetes, je passe à 19
secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de
faire "comme un select distinct" des valeurs d'une colonne pour ne pas
balancer 100 fois la requete de recup de l'id si c'est plusieurs fois
le mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide
?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable
en fn de n'importe quel fichier excel. Je ne cherche pas à automatiser
un trt bien particulier (ça je sais faire) mais à faire un outil
générique pas trop lent.
Merci de vos réponses.
--
Eric Roumégou
Webmaster des wtabletes
http://cerbermail.com/?qE7t4Qvilo
(cliquez sur le lien ci-dessus pour me contacter en privé)
Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et
compilation dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé
externe. Donc pour toutes mes lignes, je fais une requête pour
recupérer cette id. Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour
chaque occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne
rechercher les Id (plus d'autres choses, mais ce sont les requetes qui
plombent!), 13 mn (Gasp !). Un peu mieux en passant de Innodb à MyISAM
mais tjrs trop long. En enlevant le trt des requetes, je passe à 19
secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de
faire "comme un select distinct" des valeurs d'une colonne pour ne pas
balancer 100 fois la requete de recup de l'id si c'est plusieurs fois
le mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide
?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable
en fn de n'importe quel fichier excel. Je ne cherche pas à automatiser
un trt bien particulier (ça je sais faire) mais à faire un outil
générique pas trop lent.
Merci de vos réponses.
--
Eric Roumégou
Webmaster des wtabletes
http://cerbermail.com/?qE7t4Qvilo
(cliquez sur le lien ci-dessus pour me contacter en privé)
Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et
compilation dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé
externe. Donc pour toutes mes lignes, je fais une requête pour
recupérer cette id. Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour
chaque occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne
rechercher les Id (plus d'autres choses, mais ce sont les requetes qui
plombent!), 13 mn (Gasp !). Un peu mieux en passant de Innodb à MyISAM
mais tjrs trop long. En enlevant le trt des requetes, je passe à 19
secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de
faire "comme un select distinct" des valeurs d'une colonne pour ne pas
balancer 100 fois la requete de recup de l'id si c'est plusieurs fois
le mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide
?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable
en fn de n'importe quel fichier excel. Je ne cherche pas à automatiser
un trt bien particulier (ça je sais faire) mais à faire un outil
générique pas trop lent.
Merci de vos réponses.
--
Eric Roumégou
Webmaster des wtabletes
http://cerbermail.com/?qE7t4Qvilo
(cliquez sur le lien ci-dessus pour me contacter en privé)
update FINAL set ( liste_champ ) = (SELECT liste_champ from TMP where
tmp.ref_extern = final.ref_extern)
update FINAL set ( liste_champ ) = (SELECT liste_champ from TMP where
tmp.ref_extern = final.ref_extern)
update FINAL set ( liste_champ ) = (SELECT liste_champ from TMP where
tmp.ref_extern = final.ref_extern)
patrice avait énoncé :
> update FINAL set ( liste_champ ) = (SELECT liste_champ from TMP where
> tmp.ref_extern = final.ref_extern)
ça en mysql 4.20, je ne pense pas que cela soit possible.
???
on ne peut pas faire d'update sur la table en sélection.
--
Eric Roumégou
Webmaster des wtabletes
http://cerbermail.com/?qE7t4Qvilo
(cliquez sur le lien ci-dessus pour me contacter en privé)
patrice avait énoncé :
> update FINAL set ( liste_champ ) = (SELECT liste_champ from TMP where
> tmp.ref_extern = final.ref_extern)
ça en mysql 4.20, je ne pense pas que cela soit possible.
???
on ne peut pas faire d'update sur la table en sélection.
--
Eric Roumégou
Webmaster des wtabletes
http://cerbermail.com/?qE7t4Qvilo
(cliquez sur le lien ci-dessus pour me contacter en privé)
patrice avait énoncé :
> update FINAL set ( liste_champ ) = (SELECT liste_champ from TMP where
> tmp.ref_extern = final.ref_extern)
ça en mysql 4.20, je ne pense pas que cela soit possible.
???
on ne peut pas faire d'update sur la table en sélection.
--
Eric Roumégou
Webmaster des wtabletes
http://cerbermail.com/?qE7t4Qvilo
(cliquez sur le lien ci-dessus pour me contacter en privé)
Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et compilation
dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé externe.
Donc pour toutes mes lignes, je fais une requête pour recupérer cette id.
Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour chaque
occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne rechercher les
Id (plus d'autres choses, mais ce sont les requetes qui plombent!), 13 mn
(Gasp !). Un peu mieux en passant de Innodb à MyISAM mais tjrs trop long. En
enlevant le trt des requetes, je passe à 19 secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de faire
"comme un select distinct" des valeurs d'une colonne pour ne pas balancer 100
fois la requete de recup de l'id si c'est plusieurs fois le mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide ?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable en fn
de n'importe quel fichier excel. Je ne cherche pas à automatiser un trt bien
particulier (ça je sais faire) mais à faire un outil générique pas trop lent.
Merci de vos réponses.
Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et compilation
dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé externe.
Donc pour toutes mes lignes, je fais une requête pour recupérer cette id.
Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour chaque
occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne rechercher les
Id (plus d'autres choses, mais ce sont les requetes qui plombent!), 13 mn
(Gasp !). Un peu mieux en passant de Innodb à MyISAM mais tjrs trop long. En
enlevant le trt des requetes, je passe à 19 secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de faire
"comme un select distinct" des valeurs d'une colonne pour ne pas balancer 100
fois la requete de recup de l'id si c'est plusieurs fois le mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide ?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable en fn
de n'importe quel fichier excel. Je ne cherche pas à automatiser un trt bien
particulier (ça je sais faire) mais à faire un outil générique pas trop lent.
Merci de vos réponses.
Bonjour,
je travaille sur un programme d'intégration de données paramétrables.
C'est à partir de fichier excel et cela doit alimenter ma base mysql.
je suis parti sur un truc bien chiadé avec génération du code et compilation
dynamique. Cela marche mais c'est trop lent.
Tout vient du fait que je dois récupérer un id à partir d'une clé externe.
Donc pour toutes mes lignes, je fais une requête pour recupérer cette id.
Soit 5000 lignes 5000 requetes (et l'index est ok).
Et compte tenu que je peux avoir 3 liaisons, je peux refaire pour chaque
occurrence 3 fois ce type de requetes.
Résultat : pour 5000 lignes et besoin d'aller 2 fois par ligne rechercher les
Id (plus d'autres choses, mais ce sont les requetes qui plombent!), 13 mn
(Gasp !). Un peu mieux en passant de Innodb à MyISAM mais tjrs trop long. En
enlevant le trt des requetes, je passe à 19 secondes.
Mes questions :
Je me demande si le fait d'appeler ces fn de requetes depuis la compil
dynamique ne fait pas mal (par rapport à une prog classique) ?
Y'a-t-il un moyen une fois les infos chargées dans une table mémoire de faire
"comme un select distinct" des valeurs d'une colonne pour ne pas balancer 100
fois la requete de recup de l'id si c'est plusieurs fois le mème ?
Aurais-je intérêt à charger cela dans une zone mémoire ? ou plus rapide ?
Bien sûr la difficulté de cela c'est que le traitement est paramétrable en fn
de n'importe quel fichier excel. Je ne cherche pas à automatiser un trt bien
particulier (ça je sais faire) mais à faire un outil générique pas trop lent.
Merci de vos réponses.