J'ai souvent des problemes en ce moment. En effet, je doit parser des
gros fichiers ( de 8 a 30 mo ) pour faire apres traitements des
insertions dans une base. Bref outre la finalité , que je maitrise,
j'ai pas mal de probleme en ce qui concerne les handles de gros
fichier.
Fatal error: Allowed memory size of 8388608 bytes exhausted (tried to
allocate 12422263 bytes)
Je n'ai pas la possibilité de toucher à la config du serveur. Quelles
solutions s'offrent à moi ? Merci de votre aide.
Cette action est irreversible, confirmez la suppression du commentaire ?
Signaler le commentaire
Veuillez sélectionner un problème
Nudité
Violence
Harcèlement
Fraude
Vente illégale
Discours haineux
Terrorisme
Autre
Francois Girault
Bonjour,
J'ai souvent des problemes en ce moment. En effet, je doit parser des gros fichiers ( de 8 a 30 mo ) pour faire apres traitements des insertions dans une base. Bref outre la finalité , que je maitrise, j'ai pas mal de probleme en ce qui concerne les handles de gros fichier.
Fatal error: Allowed memory size of 8388608 bytes exhausted (tried to allocate 12422263 bytes)
Je n'ai pas la possibilité de toucher à la config du serveur. Quelles solutions s'offrent à moi ? Merci de votre aide.
Bonsoir,
"en général" (notez les guillemets ?-) face à des problèmes de taille mémoire, l'adage est de subdiviser les traitements. N'ayant aucune données quand à ce que vous voulez réellement faire au niveau traitement avant insertion, je ne peux vous répondre plus en détail ...
Il va falloir la jouer fine au niveau algorithmique, avec au besoin passer par des fichiers temporaires, etc ... mais sans informations précises quand à la nature des données et à celles de leur traitement, pas de solution miracle, il va falloir trouver une solution dépendante du contexte, cad spécifique, et donc forcément assez couteuse en dev (conception, mise au point ...)
aaaah, à quand le set_memory_size(UNLIMITED_MEMORY) en php :o) :o) :o)
FG
Bonjour,
J'ai souvent des problemes en ce moment. En effet, je doit parser des
gros fichiers ( de 8 a 30 mo ) pour faire apres traitements des
insertions dans une base. Bref outre la finalité , que je maitrise,
j'ai pas mal de probleme en ce qui concerne les handles de gros
fichier.
Fatal error: Allowed memory size of 8388608 bytes exhausted (tried to
allocate 12422263 bytes)
Je n'ai pas la possibilité de toucher à la config du serveur. Quelles
solutions s'offrent à moi ? Merci de votre aide.
Bonsoir,
"en général" (notez les guillemets ?-) face à des problèmes de taille
mémoire, l'adage est de subdiviser les traitements. N'ayant aucune
données quand à ce que vous voulez réellement faire au niveau traitement
avant insertion, je ne peux vous répondre plus en détail ...
Il va falloir la jouer fine au niveau algorithmique, avec au besoin
passer par des fichiers temporaires, etc ... mais sans informations
précises quand à la nature des données et à celles de leur traitement,
pas de solution miracle, il va falloir trouver une solution dépendante
du contexte, cad spécifique, et donc forcément assez couteuse en dev
(conception, mise au point ...)
aaaah, à quand le set_memory_size(UNLIMITED_MEMORY) en php :o) :o) :o)
J'ai souvent des problemes en ce moment. En effet, je doit parser des gros fichiers ( de 8 a 30 mo ) pour faire apres traitements des insertions dans une base. Bref outre la finalité , que je maitrise, j'ai pas mal de probleme en ce qui concerne les handles de gros fichier.
Fatal error: Allowed memory size of 8388608 bytes exhausted (tried to allocate 12422263 bytes)
Je n'ai pas la possibilité de toucher à la config du serveur. Quelles solutions s'offrent à moi ? Merci de votre aide.
Bonsoir,
"en général" (notez les guillemets ?-) face à des problèmes de taille mémoire, l'adage est de subdiviser les traitements. N'ayant aucune données quand à ce que vous voulez réellement faire au niveau traitement avant insertion, je ne peux vous répondre plus en détail ...
Il va falloir la jouer fine au niveau algorithmique, avec au besoin passer par des fichiers temporaires, etc ... mais sans informations précises quand à la nature des données et à celles de leur traitement, pas de solution miracle, il va falloir trouver une solution dépendante du contexte, cad spécifique, et donc forcément assez couteuse en dev (conception, mise au point ...)
aaaah, à quand le set_memory_size(UNLIMITED_MEMORY) en php :o) :o) :o)
FG
Hastur
Bonjour peut etre pouvait vous utiliser la function ini_set du genre ini_set("memory_limit","20M"); Modifiez les 20M pour adapter a votre cas.
En esperant que cela fonctionnera
"BZP" a écrit dans le message de news:
Bonjour,
J'ai souvent des problemes en ce moment. En effet, je doit parser des gros fichiers ( de 8 a 30 mo ) pour faire apres traitements des insertions dans une base. Bref outre la finalité , que je maitrise, j'ai pas mal de probleme en ce qui concerne les handles de gros fichier.
Fatal error: Allowed memory size of 8388608 bytes exhausted (tried to allocate 12422263 bytes)
Je n'ai pas la possibilité de toucher à la config du serveur. Quelles solutions s'offrent à moi ? Merci de votre aide.
Bonjour peut etre pouvait vous utiliser la function ini_set du genre
ini_set("memory_limit","20M");
Modifiez les 20M pour adapter a votre cas.
En esperant que cela fonctionnera
"BZP" <punk2merde@hotmail.com> a écrit dans le message de
news:1123789401.221236.33200@g14g2000cwa.googlegroups.com...
Bonjour,
J'ai souvent des problemes en ce moment. En effet, je doit parser des
gros fichiers ( de 8 a 30 mo ) pour faire apres traitements des
insertions dans une base. Bref outre la finalité , que je maitrise,
j'ai pas mal de probleme en ce qui concerne les handles de gros
fichier.
Fatal error: Allowed memory size of 8388608 bytes exhausted (tried to
allocate 12422263 bytes)
Je n'ai pas la possibilité de toucher à la config du serveur. Quelles
solutions s'offrent à moi ? Merci de votre aide.
Bonjour peut etre pouvait vous utiliser la function ini_set du genre ini_set("memory_limit","20M"); Modifiez les 20M pour adapter a votre cas.
En esperant que cela fonctionnera
"BZP" a écrit dans le message de news:
Bonjour,
J'ai souvent des problemes en ce moment. En effet, je doit parser des gros fichiers ( de 8 a 30 mo ) pour faire apres traitements des insertions dans une base. Bref outre la finalité , que je maitrise, j'ai pas mal de probleme en ce qui concerne les handles de gros fichier.
Fatal error: Allowed memory size of 8388608 bytes exhausted (tried to allocate 12422263 bytes)
Je n'ai pas la possibilité de toucher à la config du serveur. Quelles solutions s'offrent à moi ? Merci de votre aide.
Bruno Desthuilliers
Bonjour,
J'ai souvent des problemes en ce moment. En effet, je doit parser des gros fichiers ( de 8 a 30 mo ) pour faire apres traitements des insertions dans une base. (snip)
Fatal error: Allowed memory size of 8388608 bytes exhausted (tried to allocate 12422263 bytes)
Je n'ai pas la possibilité de toucher à la config du serveur. Quelles solutions s'offrent à moi ?
Juste une question particulièrement idiote: tu lis ton fichier ligne à ligne (ou bloc par bloc), ou tu essaie de le charger entièrement en mémoire ? (Non, pas taper, j'avais prévenu... Aïe)
Sinon, une solution courante pour ce genre de traitements "lourds" et récurrents est d'utiliser ftp (de préférence) ou http pour remonter les fichiers dans un répertoire déterminé, et d'avoir un script lancé par cron qui vient à intervals réguliers regarder s'il y a de nouveaux fichiers, et les traiter le cas échéant. Mais si tu ne peux pas accéder à la config du serveur, tu ne peux probablement pas envisager cette solution non plus.
Merci de votre aide.
Désolé, pas mieux :(
Bonjour,
J'ai souvent des problemes en ce moment. En effet, je doit parser des
gros fichiers ( de 8 a 30 mo ) pour faire apres traitements des
insertions dans une base.
(snip)
Fatal error: Allowed memory size of 8388608 bytes exhausted (tried to
allocate 12422263 bytes)
Je n'ai pas la possibilité de toucher à la config du serveur. Quelles
solutions s'offrent à moi ?
Juste une question particulièrement idiote: tu lis ton fichier ligne à
ligne (ou bloc par bloc), ou tu essaie de le charger entièrement en
mémoire ? (Non, pas taper, j'avais prévenu... Aïe)
Sinon, une solution courante pour ce genre de traitements "lourds" et
récurrents est d'utiliser ftp (de préférence) ou http pour remonter les
fichiers dans un répertoire déterminé, et d'avoir un script lancé par
cron qui vient à intervals réguliers regarder s'il y a de nouveaux
fichiers, et les traiter le cas échéant. Mais si tu ne peux pas accéder
à la config du serveur, tu ne peux probablement pas envisager cette
solution non plus.
J'ai souvent des problemes en ce moment. En effet, je doit parser des gros fichiers ( de 8 a 30 mo ) pour faire apres traitements des insertions dans une base. (snip)
Fatal error: Allowed memory size of 8388608 bytes exhausted (tried to allocate 12422263 bytes)
Je n'ai pas la possibilité de toucher à la config du serveur. Quelles solutions s'offrent à moi ?
Juste une question particulièrement idiote: tu lis ton fichier ligne à ligne (ou bloc par bloc), ou tu essaie de le charger entièrement en mémoire ? (Non, pas taper, j'avais prévenu... Aïe)
Sinon, une solution courante pour ce genre de traitements "lourds" et récurrents est d'utiliser ftp (de préférence) ou http pour remonter les fichiers dans un répertoire déterminé, et d'avoir un script lancé par cron qui vient à intervals réguliers regarder s'il y a de nouveaux fichiers, et les traiter le cas échéant. Mais si tu ne peux pas accéder à la config du serveur, tu ne peux probablement pas envisager cette solution non plus.
Merci de votre aide.
Désolé, pas mieux :(
loufoque
BZP a dit le 12/08/2005 à 00:12:
Quelles solutions s'offrent à moi ?
Faire en plusieurs morceaux. Utiliser une mémoire tampon, un buffer. Charger tout le fichier en mémoire c'est un peu simpliste comme technique.
BZP a dit le 12/08/2005 à 00:12:
Quelles
solutions s'offrent à moi ?
Faire en plusieurs morceaux.
Utiliser une mémoire tampon, un buffer. Charger tout le fichier en
mémoire c'est un peu simpliste comme technique.
Faire en plusieurs morceaux. Utiliser une mémoire tampon, un buffer. Charger tout le fichier en mémoire c'est un peu simpliste comme technique.
Marc
Je n'ai pas la possibilité de toucher à la config du serveur. Quelles solutions s'offrent à moi ? Merci de votre aide.
* ne pas recopier les tableaux s'ils sont enormes, mais les gerer par reference, * eviter de creer des liste complete puis les traiter, mais au contraire essayer de les traiter en cours d'elaboration si l'algorithme s'y prete. C'est un peu contraire au modele VMC ou l'on separe bien les 3 aspects en s'echangeant des listes d'information.
dis-nous en plus si tu veux de l'aide.
Je n'ai pas la possibilité de toucher à la config du serveur. Quelles
solutions s'offrent à moi ? Merci de votre aide.
* ne pas recopier les tableaux s'ils sont enormes, mais les gerer
par reference,
* eviter de creer des liste complete puis les traiter, mais au contraire
essayer de les traiter en cours d'elaboration si l'algorithme s'y prete.
C'est un peu contraire au modele VMC ou l'on separe bien les 3 aspects
en s'echangeant des listes d'information.
Je n'ai pas la possibilité de toucher à la config du serveur. Quelles solutions s'offrent à moi ? Merci de votre aide.
* ne pas recopier les tableaux s'ils sont enormes, mais les gerer par reference, * eviter de creer des liste complete puis les traiter, mais au contraire essayer de les traiter en cours d'elaboration si l'algorithme s'y prete. C'est un peu contraire au modele VMC ou l'on separe bien les 3 aspects en s'echangeant des listes d'information.
dis-nous en plus si tu veux de l'aide.
bruno modulix
Marc wrote: (snip)
C'est un peu contraire au modele VMC ou l'on separe bien les 3 aspects
Ah non, le modèle VMC[1], ça marche avec des tuyaux. Je le sais bien, j'en ai une instance dans ma SDB.
[1] VMC : Ventilation Mécaniquement Controlée
Comment ? Je sors ? Bon, ok --> []
-- bruno desthuilliers ruby -e "print ''.split('@').collect{|p| p.split('.').collect{|w| w.reverse}.join('.')}.join('@')"
Marc wrote:
(snip)
C'est un peu contraire au modele VMC ou l'on separe bien les 3 aspects
Ah non, le modèle VMC[1], ça marche avec des tuyaux. Je le sais bien,
j'en ai une instance dans ma SDB.
[1] VMC : Ventilation Mécaniquement Controlée
Comment ? Je sors ? Bon, ok
--> []
--
bruno desthuilliers
ruby -e "print 'onurb@xiludom.gro'.split('@').collect{|p|
p.split('.').collect{|w| w.reverse}.join('.')}.join('@')"
