Bonjour, j'ai besoin de transformer en format csv d=E9limit=E9, des
fichiers fixes.
Le probl=E8me c'est que ces fichiers peuvent =EAtre tr=E8s gros, plusieurs
millions de lignes et plusieurs milliers de caract=E8res par ligne.
J'ai donc =E9crit ce code sous windows en Python 2.5.2, qui, je pense
pourrait =EAtre bien optimis=E9.
Merci d'avance pour vos suggestions.
=3D=3D=3D=3D=3D=3D=3D=3D=3D
# _*_ coding: utf8 _*_
#!/usr/bin/env python
# Auteur : Philippe Lotton
# Date de cr=E9ation:
import sys
import datetime
if __name__ =3D=3D '__main__':
args =3D sys.argv[1:]
if len(args) =3D=3D 2: # 2 param=E8tres obligatoires
fic_entree =3D args[0] # Fichier source
fic_format =3D args[1] #Fichier format
else:
print '''Vous devez passez 2 arguments, le fichier source et
le fichier param=E8tre
ex: csv.py MonFic.txt MonFormat.txt
Le fichier source doit avoir des enregistrements de longueurs
fixes.
Le fichier format doit =E8tre de la forme: position , longueur
<rc>,
autant de ligne que de champs dans le fichier source.
'''
exit()
print datetime.datetime.now().time()
fic_param =3D open('format.txt', "r") # Lecture du fichier
param=E8tre
format =3D fic_param.readlines() # Cr=E9ation tableaux
des param=E8tres
fic_param.close()
fic_out =3D open('csv.txt', 'w') #Ouverture fichier de sortie
fic_source =3D open(fic_entree, 'r') # Lecture du fichier
source
while 1: #
ligne_source =3D fic_source.readline()
if ligne_source =3D=3D'':
break
else :
ligne_cible =3D '' # Ligne de sortie =E9crite dans
le fichier
for j in format:
params =3D j.split(',') #Cr=E9ation d'un
tableau de param=E8tres
pos1 =3D int(params[0])-1 #Position 1
pos2 =3D pos1 + int(params[1]) #Position 2
temp =3D ligne_source[ pos1:pos2]
ligne_cible =3D ligne_cible + temp + ',' #
Concat=E9nation
ligne_cible =3D ligne_cible[0:-1]
fic_out.write(ligne_cible + "\n")
ligne_cible =3D ''
fic_source.close()
fic_out.close()
print datetime.datetime.now().time()
exit()
Bonjour, j'ai besoin de transformer en format csv délimité, des fichiers fixes. Le problème c'est que ces fichiers peuvent être très gros, plusieurs millions de lignes et plusieurs milliers de caractères par ligne. J'ai donc écrit ce code sous windows en Python 2.5.2, qui, je pense pourrait être bien optimisé. Merci d'avance pour vos suggestions.
======== > # _*_ coding: utf8 _*_ #!/usr/bin/env python # Auteur : Philippe Lotton # Date de création:
import sys import datetime
C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais y a-t-il une raison pour laquelle vous n'utilisez pas le module standard csv ? Au début, je pensais que vous aviez écrit votre solution pour justement être plus performant mais en regardant le source de csv.py, je constate que celui-ci délègue la majorité du travail à un module et C.
En fait si, c'est bien une suggestion d'optim après tout.
pil91 a écrit :
Bonjour, j'ai besoin de transformer en format csv délimité, des
fichiers fixes.
Le problème c'est que ces fichiers peuvent être très gros, plusieurs
millions de lignes et plusieurs milliers de caractères par ligne.
J'ai donc écrit ce code sous windows en Python 2.5.2, qui, je pense
pourrait être bien optimisé.
Merci d'avance pour vos suggestions.
======== > # _*_ coding: utf8 _*_
#!/usr/bin/env python
# Auteur : Philippe Lotton
# Date de création:
import sys
import datetime
C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais y
a-t-il une raison pour laquelle vous n'utilisez pas le module standard
csv ? Au début, je pensais que vous aviez écrit votre solution pour
justement être plus performant mais en regardant le source de csv.py, je
constate que celui-ci délègue la majorité du travail à un module et C.
En fait si, c'est bien une suggestion d'optim après tout.
Bonjour, j'ai besoin de transformer en format csv délimité, des fichiers fixes. Le problème c'est que ces fichiers peuvent être très gros, plusieurs millions de lignes et plusieurs milliers de caractères par ligne. J'ai donc écrit ce code sous windows en Python 2.5.2, qui, je pense pourrait être bien optimisé. Merci d'avance pour vos suggestions.
======== > # _*_ coding: utf8 _*_ #!/usr/bin/env python # Auteur : Philippe Lotton # Date de création:
import sys import datetime
C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais y a-t-il une raison pour laquelle vous n'utilisez pas le module standard csv ? Au début, je pensais que vous aviez écrit votre solution pour justement être plus performant mais en regardant le source de csv.py, je constate que celui-ci délègue la majorité du travail à un module et C.
En fait si, c'est bien une suggestion d'optim après tout.
Bruno Desthuilliers
pil91 a écrit :
Bonjour, j'ai besoin de transformer en format csv délimité, des fichiers fixes. Le problème c'est que ces fichiers peuvent être très gros, plusieurs millions de lignes et plusieurs milliers de caractères par ligne. J'ai donc écrit ce code sous windows en Python 2.5.2, qui, je pense pourrait être bien optimisé.
Merci d'avance pour vos suggestions.
======== > # _*_ coding: utf8 _*_ #!/usr/bin/env python # Auteur : Philippe Lotton # Date de création:
import sys import datetime if __name__ == '__main__':
Déjà, découpe ton code en fonctions.
args = sys.argv[1:] if len(args) == 2: # 2 paramètres obligatoires fic_entree = args[0] # Fichier source fic_format = args[1] #Fichier format else: print '''Vous devez passez 2 arguments, le fichier source et le fichier paramètre ex: csv.py MonFic.txt MonFormat.txt Le fichier source doit avoir des enregistrements de longueurs fixes. Le fichier format doit ètre de la forme: position , longueur <rc>, autant de ligne que de champs dans le fichier source. '''
les messages d'erreurs devraient aller sur la sortie d'erreur, pas sur la sortie standard. Donc, print >> sys.stderr.
Ceci étant, puisque sys.exit(msg) écrit le message sur stderr, tu peux tout simplement passer ton message à sys.exit().
Pas la peine de commenter chaque ligne avec une paraphrase du code. On est capable de lire le code. Si ton commentaire n'apporte rien, ne commente pas.
Accessoirement, je suppose que tu veux: fic_param = open(fic_format)
Et là, il apparaît que tu utilises la même convention de nommage pour des chemins de fichier et des objets fichier. Combien de temps avant que tu ne t'embrouilles, à ton avis ?
format = fic_param.readlines() fic_param.close()
fic_out = open('csv.txt', 'w') fic_source = open(fic_entree, 'r') while 1: ligne_source = fic_source.readline() if ligne_source =='': break else :
Les fichiers en lecture sont leur propre itérateur. Ca t'évite un test, au passage...
for ligne_source in fic_source:
ligne_cible = '' # Ligne de sortie écrite dans le fichier for j in format: params = j.split(',') #Création d'un tableau de paramètres pos1 = int(params[0])-1 #Position 1 pos2 = pos1 + int(params[1]) #Position 2
T'a pas l'impression que refaire ces calculs à chaque ligne du fichier source est une perte de temps phénoménale ? Parse le tout avant d'entrer dans la boucle, tu gagnera du temps.
A éviter, tout particulièrement sous cette forme (la forme 'ligne += truc' est optimisée dans les versions récentes de CPython, mais ça reste une mauvaise solution).
La bonne façon de faire est de stocker les champs dans une liste, et faire un ",".join(laliste) à la fin.
ligne_cible = ligne_cible[0:-1]
ce qui évite aussi ça...
fic_out.write(ligne_cible + "n") ligne_cible = ''
cette dernière instruction est inutile, tu le fais déjà au début de la boucle.
Correction possible, mais Q&D et pas très robuste. J'ai gardé ton nommage mais tu devrais le corriger. NB : pas testé.
import sys import datetime
def parse_params(lines): params = [] for line in enumerate(lines): line = line.strip() if not line: continue parts = line.split(',') pos1 = int(parts[0])-1 pos2 = pos1 + int(parts[1]) params.append(slice(pos1, pos2)) return params
def do_import(params, fic_source, fic_out): write = fic_out.write sep = ',' join = sep.join # evite un lookup for ligne_source in fic_source: ligne_cible = [ligne_source[slice] for slice in params] write(join(ligne_cible) + "n")
def main(args): try: fic_entree, fic_format = args except ValueError: sys.exit('''Vous devez passez 2 arguments, le fichier source et le fichier paramètre ex: csv.py MonFic.txt MonFormat.txt Le fichier source doit avoir des enregistrements de longueurs fixes. Le fichier format doit ètre de la forme: position , longueur <rc>, autant de ligne que de champs dans le fichier source. ''')
# XXX : gérer le cas d'une exception durant le parsing fic_param = open(fic_format) params = parse_param(fic_param) fic_params.close()
# XXX : gérer le cas d'une erreur lors de l'ouverture de fic_out fic_source = open(fic_entree, 'r') fic_out = open('csv.txt', 'w') try: do_import(params, fic_source, fic_out) finally: fic_source.close() fic_out.close()
Bonjour, j'ai besoin de transformer en format csv délimité, des
fichiers fixes.
Le problème c'est que ces fichiers peuvent être très gros, plusieurs
millions de lignes et plusieurs milliers de caractères par ligne.
J'ai donc écrit ce code sous windows en Python 2.5.2, qui, je pense
pourrait être bien optimisé.
Merci d'avance pour vos suggestions.
======== > # _*_ coding: utf8 _*_
#!/usr/bin/env python
# Auteur : Philippe Lotton
# Date de création:
import sys
import datetime
if __name__ == '__main__':
Déjà, découpe ton code en fonctions.
args = sys.argv[1:]
if len(args) == 2: # 2 paramètres obligatoires
fic_entree = args[0] # Fichier source
fic_format = args[1] #Fichier format
else:
print '''Vous devez passez 2 arguments, le fichier source et
le fichier paramètre
ex: csv.py MonFic.txt MonFormat.txt
Le fichier source doit avoir des enregistrements de longueurs
fixes.
Le fichier format doit ètre de la forme: position , longueur
<rc>,
autant de ligne que de champs dans le fichier source.
'''
les messages d'erreurs devraient aller sur la sortie d'erreur, pas sur
la sortie standard. Donc, print >> sys.stderr.
Ceci étant, puisque sys.exit(msg) écrit le message sur stderr, tu peux
tout simplement passer ton message à sys.exit().
Pas la peine de commenter chaque ligne avec une paraphrase du code. On
est capable de lire le code. Si ton commentaire n'apporte rien, ne
commente pas.
Accessoirement, je suppose que tu veux:
fic_param = open(fic_format)
Et là, il apparaît que tu utilises la même convention de nommage pour
des chemins de fichier et des objets fichier. Combien de temps avant que
tu ne t'embrouilles, à ton avis ?
format = fic_param.readlines()
fic_param.close()
fic_out = open('csv.txt', 'w')
fic_source = open(fic_entree, 'r')
while 1:
ligne_source = fic_source.readline()
if ligne_source =='':
break
else :
Les fichiers en lecture sont leur propre itérateur. Ca t'évite un test,
au passage...
for ligne_source in fic_source:
ligne_cible = '' # Ligne de sortie écrite dans
le fichier
for j in format:
params = j.split(',') #Création d'un
tableau de paramètres
pos1 = int(params[0])-1 #Position 1
pos2 = pos1 + int(params[1]) #Position 2
T'a pas l'impression que refaire ces calculs à chaque ligne du fichier
source est une perte de temps phénoménale ? Parse le tout avant d'entrer
dans la boucle, tu gagnera du temps.
A éviter, tout particulièrement sous cette forme (la forme 'ligne +=
truc' est optimisée dans les versions récentes de CPython, mais ça reste
une mauvaise solution).
La bonne façon de faire est de stocker les champs dans une liste, et
faire un ",".join(laliste) à la fin.
ligne_cible = ligne_cible[0:-1]
ce qui évite aussi ça...
fic_out.write(ligne_cible + "n")
ligne_cible = ''
cette dernière instruction est inutile, tu le fais déjà au début de la
boucle.
Correction possible, mais Q&D et pas très robuste. J'ai gardé ton
nommage mais tu devrais le corriger. NB : pas testé.
import sys
import datetime
def parse_params(lines):
params = []
for line in enumerate(lines):
line = line.strip()
if not line:
continue
parts = line.split(',')
pos1 = int(parts[0])-1
pos2 = pos1 + int(parts[1])
params.append(slice(pos1, pos2))
return params
def do_import(params, fic_source, fic_out):
write = fic_out.write
sep = ','
join = sep.join # evite un lookup
for ligne_source in fic_source:
ligne_cible = [ligne_source[slice] for slice in params]
write(join(ligne_cible) + "n")
def main(args):
try:
fic_entree, fic_format = args
except ValueError:
sys.exit('''Vous devez passez 2 arguments, le fichier source et
le fichier paramètre
ex: csv.py MonFic.txt MonFormat.txt
Le fichier source doit avoir des enregistrements de longueurs
fixes.
Le fichier format doit ètre de la forme: position , longueur
<rc>,
autant de ligne que de champs dans le fichier source.
''')
# XXX : gérer le cas d'une exception durant le parsing
fic_param = open(fic_format)
params = parse_param(fic_param)
fic_params.close()
# XXX : gérer le cas d'une erreur lors de l'ouverture de fic_out
fic_source = open(fic_entree, 'r')
fic_out = open('csv.txt', 'w')
try:
do_import(params, fic_source, fic_out)
finally:
fic_source.close()
fic_out.close()
Bonjour, j'ai besoin de transformer en format csv délimité, des fichiers fixes. Le problème c'est que ces fichiers peuvent être très gros, plusieurs millions de lignes et plusieurs milliers de caractères par ligne. J'ai donc écrit ce code sous windows en Python 2.5.2, qui, je pense pourrait être bien optimisé.
Merci d'avance pour vos suggestions.
======== > # _*_ coding: utf8 _*_ #!/usr/bin/env python # Auteur : Philippe Lotton # Date de création:
import sys import datetime if __name__ == '__main__':
Déjà, découpe ton code en fonctions.
args = sys.argv[1:] if len(args) == 2: # 2 paramètres obligatoires fic_entree = args[0] # Fichier source fic_format = args[1] #Fichier format else: print '''Vous devez passez 2 arguments, le fichier source et le fichier paramètre ex: csv.py MonFic.txt MonFormat.txt Le fichier source doit avoir des enregistrements de longueurs fixes. Le fichier format doit ètre de la forme: position , longueur <rc>, autant de ligne que de champs dans le fichier source. '''
les messages d'erreurs devraient aller sur la sortie d'erreur, pas sur la sortie standard. Donc, print >> sys.stderr.
Ceci étant, puisque sys.exit(msg) écrit le message sur stderr, tu peux tout simplement passer ton message à sys.exit().
Pas la peine de commenter chaque ligne avec une paraphrase du code. On est capable de lire le code. Si ton commentaire n'apporte rien, ne commente pas.
Accessoirement, je suppose que tu veux: fic_param = open(fic_format)
Et là, il apparaît que tu utilises la même convention de nommage pour des chemins de fichier et des objets fichier. Combien de temps avant que tu ne t'embrouilles, à ton avis ?
format = fic_param.readlines() fic_param.close()
fic_out = open('csv.txt', 'w') fic_source = open(fic_entree, 'r') while 1: ligne_source = fic_source.readline() if ligne_source =='': break else :
Les fichiers en lecture sont leur propre itérateur. Ca t'évite un test, au passage...
for ligne_source in fic_source:
ligne_cible = '' # Ligne de sortie écrite dans le fichier for j in format: params = j.split(',') #Création d'un tableau de paramètres pos1 = int(params[0])-1 #Position 1 pos2 = pos1 + int(params[1]) #Position 2
T'a pas l'impression que refaire ces calculs à chaque ligne du fichier source est une perte de temps phénoménale ? Parse le tout avant d'entrer dans la boucle, tu gagnera du temps.
A éviter, tout particulièrement sous cette forme (la forme 'ligne += truc' est optimisée dans les versions récentes de CPython, mais ça reste une mauvaise solution).
La bonne façon de faire est de stocker les champs dans une liste, et faire un ",".join(laliste) à la fin.
ligne_cible = ligne_cible[0:-1]
ce qui évite aussi ça...
fic_out.write(ligne_cible + "n") ligne_cible = ''
cette dernière instruction est inutile, tu le fais déjà au début de la boucle.
Correction possible, mais Q&D et pas très robuste. J'ai gardé ton nommage mais tu devrais le corriger. NB : pas testé.
import sys import datetime
def parse_params(lines): params = [] for line in enumerate(lines): line = line.strip() if not line: continue parts = line.split(',') pos1 = int(parts[0])-1 pos2 = pos1 + int(parts[1]) params.append(slice(pos1, pos2)) return params
def do_import(params, fic_source, fic_out): write = fic_out.write sep = ',' join = sep.join # evite un lookup for ligne_source in fic_source: ligne_cible = [ligne_source[slice] for slice in params] write(join(ligne_cible) + "n")
def main(args): try: fic_entree, fic_format = args except ValueError: sys.exit('''Vous devez passez 2 arguments, le fichier source et le fichier paramètre ex: csv.py MonFic.txt MonFormat.txt Le fichier source doit avoir des enregistrements de longueurs fixes. Le fichier format doit ètre de la forme: position , longueur <rc>, autant de ligne que de champs dans le fichier source. ''')
# XXX : gérer le cas d'une exception durant le parsing fic_param = open(fic_format) params = parse_param(fic_param) fic_params.close()
# XXX : gérer le cas d'une erreur lors de l'ouverture de fic_out fic_source = open(fic_entree, 'r') fic_out = open('csv.txt', 'w') try: do_import(params, fic_source, fic_out) finally: fic_source.close() fic_out.close()
Bonjour, j'ai besoin de transformer en format csv délimité, des fichiers fixes.
(snip)
C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais y a-t-il une raison pour laquelle vous n'utilisez pas le module standard csv ?
Peut-être le fait que le format csv soit la cible, pas la source ?-)
Christophe
Bruno Desthuilliers a écrit :
Christophe a écrit :
pil91 a écrit :
Bonjour, j'ai besoin de transformer en format csv délimité, des fichiers fixes.
(snip)
C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais y a-t-il une raison pour laquelle vous n'utilisez pas le module standard csv ?
Peut-être le fait que le format csv soit la cible, pas la source ?-)
Et ? Le module csv fait lecture et écriture.
Help on module csv:
NAME csv - CSV parsing and writing.
FILE c:python25libcsv.py
DESCRIPTION This module provides classes that assist in the reading and writing of Comma Separated Value (CSV) files, and implements the interface (...)
Bruno Desthuilliers a écrit :
Christophe a écrit :
pil91 a écrit :
Bonjour, j'ai besoin de transformer en format csv délimité, des
fichiers fixes.
(snip)
C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais
y a-t-il une raison pour laquelle vous n'utilisez pas le module
standard csv ?
Peut-être le fait que le format csv soit la cible, pas la source ?-)
Et ? Le module csv fait lecture et écriture.
Help on module csv:
NAME
csv - CSV parsing and writing.
FILE
c:python25libcsv.py
DESCRIPTION
This module provides classes that assist in the reading and writing
of Comma Separated Value (CSV) files, and implements the interface
(...)
Bonjour, j'ai besoin de transformer en format csv délimité, des fichiers fixes.
(snip)
C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais y a-t-il une raison pour laquelle vous n'utilisez pas le module standard csv ?
Peut-être le fait que le format csv soit la cible, pas la source ?-)
Et ? Le module csv fait lecture et écriture.
Help on module csv:
NAME csv - CSV parsing and writing.
FILE c:python25libcsv.py
DESCRIPTION This module provides classes that assist in the reading and writing of Comma Separated Value (CSV) files, and implements the interface (...)
pil91
On 10 sep, 17:03, Christophe wrote:
pil91 a écrit :
> Bonjour, j'ai besoin de transformer en format csv délimité, des > fichiers fixes. > Le problème c'est que ces fichiers peuvent être très gros, plusie urs > millions de lignes et plusieurs milliers de caractères par ligne. > J'ai donc écrit ce code sous windows en Python 2.5.2, qui, je pense > pourrait être bien optimisé. > Merci d'avance pour vos suggestions.
> ========= > # _*_ coding: utf8 _*_ > #!/usr/bin/env python > # Auteur : Philippe Lotton > # Date de création:
> import sys > import datetime
C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais y a-t-il une raison pour laquelle vous n'utilisez pas le module standard csv ? Au début, je pensais que vous aviez écrit votre solution pour justement être plus performant mais en regardant le source de csv.py, j e constate que celui-ci délègue la majorité du travail à un module et C.
En fait si, c'est bien une suggestion d'optim après tout.
Je pensais améliorer les choses en remplacant la concaténation de ma chaine un append dans un tableau, puis un join ---- else : sortie = [] for j in format: params = j.split(',') #Création d'un tableau de paramètres pos1 = int(params[0])-1 #Position 1 pos2 = pos1 + int(params[1]) #Position 2 temp = ligne_source[ pos1:pos2] sortie.append(temp) result = ','.join(sortie) out.write(result + "n") sortie = [] fic_source.close() out.close() --- Excès d'autosatisfaction, c'est quif quif, 18s, sur 1 000 000 d'enregistrement avec cette structure ------ aaaaaaaaaaabbbbwyyyyyyyyyyyyyyy tttttttttttppppbqqqqqqqqqqqqqqq rrrrrrrrrrrhhhhkeeeeeeeeeeeeeee ------- @Christophe Oui c'est vrai le module csv, ben... j'ai essayé de l'importer et puis après je suis passé à autre chose. Quand je lancais l'exécution j'obtenais un message 'module object has no attribute reader.
On 10 sep, 17:03, Christophe <chris.cavala...@free.fr> wrote:
pil91 a écrit :
> Bonjour, j'ai besoin de transformer en format csv délimité, des
> fichiers fixes.
> Le problème c'est que ces fichiers peuvent être très gros, plusie urs
> millions de lignes et plusieurs milliers de caractères par ligne.
> J'ai donc écrit ce code sous windows en Python 2.5.2, qui, je pense
> pourrait être bien optimisé.
> Merci d'avance pour vos suggestions.
> =========
> # _*_ coding: utf8 _*_
> #!/usr/bin/env python
> # Auteur : Philippe Lotton
> # Date de création:
> import sys
> import datetime
C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais y
a-t-il une raison pour laquelle vous n'utilisez pas le module standard
csv ? Au début, je pensais que vous aviez écrit votre solution pour
justement être plus performant mais en regardant le source de csv.py, j e
constate que celui-ci délègue la majorité du travail à un module et C.
En fait si, c'est bien une suggestion d'optim après tout.
Je pensais améliorer les choses en remplacant la concaténation de ma
chaine un append dans un tableau, puis un join
----
else :
sortie = []
for j in format:
params = j.split(',') #Création d'un
tableau de paramètres
pos1 = int(params[0])-1 #Position 1
pos2 = pos1 + int(params[1]) #Position 2
temp = ligne_source[ pos1:pos2]
sortie.append(temp)
result = ','.join(sortie)
out.write(result + "n")
sortie = []
fic_source.close()
out.close()
---
Excès d'autosatisfaction, c'est quif quif, 18s, sur 1 000 000
d'enregistrement avec cette structure
------
aaaaaaaaaaabbbbwyyyyyyyyyyyyyyy
tttttttttttppppbqqqqqqqqqqqqqqq
rrrrrrrrrrrhhhhkeeeeeeeeeeeeeee
-------
@Christophe
Oui c'est vrai le module csv, ben... j'ai essayé de l'importer et puis
après je suis passé à autre chose.
Quand je lancais l'exécution j'obtenais un message 'module object has
no attribute reader.
> Bonjour, j'ai besoin de transformer en format csv délimité, des > fichiers fixes. > Le problème c'est que ces fichiers peuvent être très gros, plusie urs > millions de lignes et plusieurs milliers de caractères par ligne. > J'ai donc écrit ce code sous windows en Python 2.5.2, qui, je pense > pourrait être bien optimisé. > Merci d'avance pour vos suggestions.
> ========= > # _*_ coding: utf8 _*_ > #!/usr/bin/env python > # Auteur : Philippe Lotton > # Date de création:
> import sys > import datetime
C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais y a-t-il une raison pour laquelle vous n'utilisez pas le module standard csv ? Au début, je pensais que vous aviez écrit votre solution pour justement être plus performant mais en regardant le source de csv.py, j e constate que celui-ci délègue la majorité du travail à un module et C.
En fait si, c'est bien une suggestion d'optim après tout.
Je pensais améliorer les choses en remplacant la concaténation de ma chaine un append dans un tableau, puis un join ---- else : sortie = [] for j in format: params = j.split(',') #Création d'un tableau de paramètres pos1 = int(params[0])-1 #Position 1 pos2 = pos1 + int(params[1]) #Position 2 temp = ligne_source[ pos1:pos2] sortie.append(temp) result = ','.join(sortie) out.write(result + "n") sortie = [] fic_source.close() out.close() --- Excès d'autosatisfaction, c'est quif quif, 18s, sur 1 000 000 d'enregistrement avec cette structure ------ aaaaaaaaaaabbbbwyyyyyyyyyyyyyyy tttttttttttppppbqqqqqqqqqqqqqqq rrrrrrrrrrrhhhhkeeeeeeeeeeeeeee ------- @Christophe Oui c'est vrai le module csv, ben... j'ai essayé de l'importer et puis après je suis passé à autre chose. Quand je lancais l'exécution j'obtenais un message 'module object has no attribute reader.
Bruno Desthuilliers
Christophe a écrit :
Bruno Desthuilliers a écrit :
Christophe a écrit :
Bruno Desthuilliers a écrit :
Christophe a écrit :
pil91 a écrit :
Bonjour, j'ai besoin de transformer en format csv délimité, des fichiers fixes.
(snip)
C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais y a-t-il une raison pour laquelle vous n'utilisez pas le module standard csv ?
Peut-être le fait que le format csv soit la cible, pas la source ?-)
Et ? Le module csv fait lecture et écriture.
Oui. Il lit effectivement des csv. Ce qui n'est pas le cas des fichiers sources de l'OP, ni la source de son problème.
Ah, je m'excuse, j'avais mal vu l'énoncé et je confondais le format du fichier de format avec le format du fichier d'entrée de données. Comme quoi il est mal de répondre à ce genre de questions pendant les heures de travail (même pendant une pause) : on va trop vite et on rate des choses importantes :)
Pas de blème, ça arrive à tout le monde (moi le premier...) !-)
Christophe a écrit :
Bruno Desthuilliers a écrit :
Christophe a écrit :
Bruno Desthuilliers a écrit :
Christophe a écrit :
pil91 a écrit :
Bonjour, j'ai besoin de transformer en format csv délimité, des
fichiers fixes.
(snip)
C'est pas une suggestion d'optim (enfin, ça pourrait le devenir)
mais y a-t-il une raison pour laquelle vous n'utilisez pas le
module standard csv ?
Peut-être le fait que le format csv soit la cible, pas la source ?-)
Et ? Le module csv fait lecture et écriture.
Oui. Il lit effectivement des csv. Ce qui n'est pas le cas des
fichiers sources de l'OP, ni la source de son problème.
Ah, je m'excuse, j'avais mal vu l'énoncé et je confondais le format du
fichier de format avec le format du fichier d'entrée de données. Comme
quoi il est mal de répondre à ce genre de questions pendant les heures
de travail (même pendant une pause) : on va trop vite et on rate des
choses importantes :)
Pas de blème, ça arrive à tout le monde (moi le premier...) !-)
Bonjour, j'ai besoin de transformer en format csv délimité, des fichiers fixes.
(snip)
C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais y a-t-il une raison pour laquelle vous n'utilisez pas le module standard csv ?
Peut-être le fait que le format csv soit la cible, pas la source ?-)
Et ? Le module csv fait lecture et écriture.
Oui. Il lit effectivement des csv. Ce qui n'est pas le cas des fichiers sources de l'OP, ni la source de son problème.
Ah, je m'excuse, j'avais mal vu l'énoncé et je confondais le format du fichier de format avec le format du fichier d'entrée de données. Comme quoi il est mal de répondre à ce genre de questions pendant les heures de travail (même pendant une pause) : on va trop vite et on rate des choses importantes :)
Pas de blème, ça arrive à tout le monde (moi le premier...) !-)
Christophe
pil91 a écrit :
@Christophe Oui c'est vrai le module csv, ben... j'ai essayé de l'importer et puis après je suis passé à autre chose. Quand je lancais l'exécution j'obtenais un message 'module object has no attribute reader.
Ah mais chez moi il marche très bien :) Si le module était cassé à ce point, ça se saurait.
Allez, je parie qu'il y a un petit fichier csv.py ou csv.pyc qui traine pas loin et qui cache le module officiel.
pil91 a écrit :
@Christophe
Oui c'est vrai le module csv, ben... j'ai essayé de l'importer et puis
après je suis passé à autre chose.
Quand je lancais l'exécution j'obtenais un message 'module object has
no attribute reader.
Ah mais chez moi il marche très bien :) Si le module était cassé à ce
point, ça se saurait.
Allez, je parie qu'il y a un petit fichier csv.py ou csv.pyc qui traine
pas loin et qui cache le module officiel.
@Christophe Oui c'est vrai le module csv, ben... j'ai essayé de l'importer et puis après je suis passé à autre chose. Quand je lancais l'exécution j'obtenais un message 'module object has no attribute reader.
Ah mais chez moi il marche très bien :) Si le module était cassé à ce point, ça se saurait.
Allez, je parie qu'il y a un petit fichier csv.py ou csv.pyc qui traine pas loin et qui cache le module officiel.
pil91
On 10 sep, 17:31, pil91 wrote:
On 10 sep, 17:03, Christophe wrote:
> pil91 a écrit :
> > Bonjour, j'ai besoin de transformer en format csv délimité, des > > fichiers fixes. > > Le problème c'est que ces fichiers peuvent être très gros, plus ieurs > > millions de lignes et plusieurs milliers de caractères par ligne. > > J'ai donc écrit ce code sous windows en Python 2.5.2, qui, je pense > > pourrait être bien optimisé. > > Merci d'avance pour vos suggestions.
> > ========= > > # _*_ coding: utf8 _*_ > > #!/usr/bin/env python > > # Auteur : Philippe Lotton > > # Date de création:
> > import sys > > import datetime
> C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais y > a-t-il une raison pour laquelle vous n'utilisez pas le module standard > csv ? Au début, je pensais que vous aviez écrit votre solution pour > justement être plus performant mais en regardant le source de csv.py, je > constate que celui-ci délègue la majorité du travail à un modul e et C.
> En fait si, c'est bien une suggestion d'optim après tout.
Je pensais améliorer les choses en remplacant la concaténation de ma chaine un append dans un tableau, puis un join ---- else : sortie = [] for j in format: params = j.split(',') #Création d'un tableau de paramètres pos1 = int(params[0])-1 #Position 1 pos2 = pos1 + int(params[1]) #Posit ion 2 temp = ligne_source[ pos1:pos2] sortie.append(temp) result = ','.join(sortie) out.write(result + "n") sortie = [] fic_source.close() out.close() --- Excès d'autosatisfaction, c'est quif quif, 18s, sur 1 000 000 d'enregistrement avec cette structure ------ aaaaaaaaaaabbbbwyyyyyyyyyyyyyyy tttttttttttppppbqqqqqqqqqqqqqqq rrrrrrrrrrrhhhhkeeeeeeeeeeeeeee ------- @Christophe Oui c'est vrai le module csv, ben... j'ai essayé de l'importer et puis après je suis passé à autre chose. Quand je lancais l'exécution j'obtenais un message 'module object has no attribute reader.
@Bruno Desthuilliers Merci pour ce cours magistral, je revois ma copie demain :). Effectivement l'utilisation du module csv serait plus orthodoxe et efficace.
On 10 sep, 17:31, pil91 <philippe.lot...@gmail.com> wrote:
On 10 sep, 17:03, Christophe <chris.cavala...@free.fr> wrote:
> pil91 a écrit :
> > Bonjour, j'ai besoin de transformer en format csv délimité, des
> > fichiers fixes.
> > Le problème c'est que ces fichiers peuvent être très gros, plus ieurs
> > millions de lignes et plusieurs milliers de caractères par ligne.
> > J'ai donc écrit ce code sous windows en Python 2.5.2, qui, je pense
> > pourrait être bien optimisé.
> > Merci d'avance pour vos suggestions.
> > =========
> > # _*_ coding: utf8 _*_
> > #!/usr/bin/env python
> > # Auteur : Philippe Lotton
> > # Date de création:
> > import sys
> > import datetime
> C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais y
> a-t-il une raison pour laquelle vous n'utilisez pas le module standard
> csv ? Au début, je pensais que vous aviez écrit votre solution pour
> justement être plus performant mais en regardant le source de csv.py, je
> constate que celui-ci délègue la majorité du travail à un modul e et C.
> En fait si, c'est bien une suggestion d'optim après tout.
Je pensais améliorer les choses en remplacant la concaténation de ma
chaine un append dans un tableau, puis un join
----
else :
sortie = []
for j in format:
params = j.split(',') #Création d'un
tableau de paramètres
pos1 = int(params[0])-1 #Position 1
pos2 = pos1 + int(params[1]) #Posit ion 2
temp = ligne_source[ pos1:pos2]
sortie.append(temp)
result = ','.join(sortie)
out.write(result + "n")
sortie = []
fic_source.close()
out.close()
---
Excès d'autosatisfaction, c'est quif quif, 18s, sur 1 000 000
d'enregistrement avec cette structure
------
aaaaaaaaaaabbbbwyyyyyyyyyyyyyyy
tttttttttttppppbqqqqqqqqqqqqqqq
rrrrrrrrrrrhhhhkeeeeeeeeeeeeeee
-------
@Christophe
Oui c'est vrai le module csv, ben... j'ai essayé de l'importer et puis
après je suis passé à autre chose.
Quand je lancais l'exécution j'obtenais un message 'module object has
no attribute reader.
@Bruno Desthuilliers
Merci pour ce cours magistral, je revois ma copie demain :).
Effectivement l'utilisation du module csv serait plus orthodoxe et
efficace.
> > Bonjour, j'ai besoin de transformer en format csv délimité, des > > fichiers fixes. > > Le problème c'est que ces fichiers peuvent être très gros, plus ieurs > > millions de lignes et plusieurs milliers de caractères par ligne. > > J'ai donc écrit ce code sous windows en Python 2.5.2, qui, je pense > > pourrait être bien optimisé. > > Merci d'avance pour vos suggestions.
> > ========= > > # _*_ coding: utf8 _*_ > > #!/usr/bin/env python > > # Auteur : Philippe Lotton > > # Date de création:
> > import sys > > import datetime
> C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais y > a-t-il une raison pour laquelle vous n'utilisez pas le module standard > csv ? Au début, je pensais que vous aviez écrit votre solution pour > justement être plus performant mais en regardant le source de csv.py, je > constate que celui-ci délègue la majorité du travail à un modul e et C.
> En fait si, c'est bien une suggestion d'optim après tout.
Je pensais améliorer les choses en remplacant la concaténation de ma chaine un append dans un tableau, puis un join ---- else : sortie = [] for j in format: params = j.split(',') #Création d'un tableau de paramètres pos1 = int(params[0])-1 #Position 1 pos2 = pos1 + int(params[1]) #Posit ion 2 temp = ligne_source[ pos1:pos2] sortie.append(temp) result = ','.join(sortie) out.write(result + "n") sortie = [] fic_source.close() out.close() --- Excès d'autosatisfaction, c'est quif quif, 18s, sur 1 000 000 d'enregistrement avec cette structure ------ aaaaaaaaaaabbbbwyyyyyyyyyyyyyyy tttttttttttppppbqqqqqqqqqqqqqqq rrrrrrrrrrrhhhhkeeeeeeeeeeeeeee ------- @Christophe Oui c'est vrai le module csv, ben... j'ai essayé de l'importer et puis après je suis passé à autre chose. Quand je lancais l'exécution j'obtenais un message 'module object has no attribute reader.
@Bruno Desthuilliers Merci pour ce cours magistral, je revois ma copie demain :). Effectivement l'utilisation du module csv serait plus orthodoxe et efficace.
Bruno Desthuilliers
Christophe a écrit :
Bruno Desthuilliers a écrit :
Christophe a écrit :
pil91 a écrit :
Bonjour, j'ai besoin de transformer en format csv délimité, des fichiers fixes.
(snip)
C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais y a-t-il une raison pour laquelle vous n'utilisez pas le module standard csv ?
Peut-être le fait que le format csv soit la cible, pas la source ?-)
Et ? Le module csv fait lecture et écriture.
Oui. Il lit effectivement des csv. Ce qui n'est pas le cas des fichiers sources de l'OP, ni la source de son problème.
Help on module csv:
NAME csv - CSV parsing and writing.
FILE c:python25libcsv.py
DESCRIPTION This module provides classes that assist in the reading and writing of Comma Separated Value (CSV) files, and implements the interface (...)
Merci, c'est gentil, je ne l'utilise qu'une cinquantaine de fois par an, ce module...
Christophe a écrit :
Bruno Desthuilliers a écrit :
Christophe a écrit :
pil91 a écrit :
Bonjour, j'ai besoin de transformer en format csv délimité, des
fichiers fixes.
(snip)
C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais
y a-t-il une raison pour laquelle vous n'utilisez pas le module
standard csv ?
Peut-être le fait que le format csv soit la cible, pas la source ?-)
Et ? Le module csv fait lecture et écriture.
Oui. Il lit effectivement des csv. Ce qui n'est pas le cas des fichiers
sources de l'OP, ni la source de son problème.
Help on module csv:
NAME
csv - CSV parsing and writing.
FILE
c:python25libcsv.py
DESCRIPTION
This module provides classes that assist in the reading and writing
of Comma Separated Value (CSV) files, and implements the interface
(...)
Merci, c'est gentil, je ne l'utilise qu'une cinquantaine de fois par an,
ce module...
Bonjour, j'ai besoin de transformer en format csv délimité, des fichiers fixes.
(snip)
C'est pas une suggestion d'optim (enfin, ça pourrait le devenir) mais y a-t-il une raison pour laquelle vous n'utilisez pas le module standard csv ?
Peut-être le fait que le format csv soit la cible, pas la source ?-)
Et ? Le module csv fait lecture et écriture.
Oui. Il lit effectivement des csv. Ce qui n'est pas le cas des fichiers sources de l'OP, ni la source de son problème.
Help on module csv:
NAME csv - CSV parsing and writing.
FILE c:python25libcsv.py
DESCRIPTION This module provides classes that assist in the reading and writing of Comma Separated Value (CSV) files, and implements the interface (...)
Merci, c'est gentil, je ne l'utilise qu'une cinquantaine de fois par an, ce module...
Bruno Desthuilliers
pil91 a écrit : (snip)
Effectivement l'utilisation du module csv serait plus orthodoxe et efficace.
Pour l'écriture, éventuellement, et encore seulement pour des trucs un peu complexes (quotes etc). Pour la lecture, je doute... Si j'ai bien compris, chaque ligne de ton fichier source est composé de X champs, chaque champ ayant une taille (fixe) differente. Si oui, ça n'a aucun rapport avec un format csv, donc...
pil91 a écrit :
(snip)
Effectivement l'utilisation du module csv serait plus orthodoxe et
efficace.
Pour l'écriture, éventuellement, et encore seulement pour des trucs un
peu complexes (quotes etc). Pour la lecture, je doute... Si j'ai bien
compris, chaque ligne de ton fichier source est composé de X champs,
chaque champ ayant une taille (fixe) differente. Si oui, ça n'a aucun
rapport avec un format csv, donc...
Effectivement l'utilisation du module csv serait plus orthodoxe et efficace.
Pour l'écriture, éventuellement, et encore seulement pour des trucs un peu complexes (quotes etc). Pour la lecture, je doute... Si j'ai bien compris, chaque ligne de ton fichier source est composé de X champs, chaque champ ayant une taille (fixe) differente. Si oui, ça n'a aucun rapport avec un format csv, donc...
