meilleure facon de concaténer des petits fichiers dans un gros ?
3 réponses
jean-marc pouchoulon
Bonjour à tous,
quel est la meilleure facon de concaténer des petits fichiers dans un
gros pour obtenir les meilleures perfs ?
Je n'ai rien trouvé dans os et shutils qui permette de faire ca.
Je peux bien sur lire les fichiers et écrire dans un gros mais n'y a t
il pas mieux à faire ?
quel est la meilleure facon de concaténer des petits fichiers dans un gros pour obtenir les meilleures perfs ?
cat * > gros_fichier
Avec les réserves d'usage si le shell créé gros_fichier avant d'appeler cat.
Appelle ça en Python et c'est bon !
-- Hervé Cauwelier http://www.oursours.net/
jean-marc pouchoulon
Hervé Cauwelier wrote:
quel est la meilleure facon de concaténer des petits fichiers dans un gros pour obtenir les meilleures perfs ?
cat * > gros_fichier
Avec les réserves d'usage si le shell créé gros_fichier avant d'appeler cat.
Appelle ça en Python et c'est bon !
Pas aussi simple. J'ai beaucoup de fichier et je suis donc obligé de passer par un find . -type f -exec cat {} >> grosfichier {} ;
Bizzarement grofichier est rempli de caractères étranges .... Je n'ai ce comportment que sur ce seul serveur (fedora core 3 ) Du coup je me suis dit que j'allais traiter le pb avec python , car comme chacun le sait le python c'est bon.
Tout ca pour dire que je ne veux pas utiliser le shell.
Merci quand même.
Hervé Cauwelier wrote:
quel est la meilleure facon de concaténer des petits fichiers dans un
gros pour obtenir les meilleures perfs ?
cat * > gros_fichier
Avec les réserves d'usage si le shell créé gros_fichier avant d'appeler
cat.
Appelle ça en Python et c'est bon !
Pas aussi simple.
J'ai beaucoup de fichier et je suis donc obligé de passer par un
find . -type f -exec cat {} >> grosfichier {} ;
Bizzarement grofichier est rempli de caractères étranges ....
Je n'ai ce comportment que sur ce seul serveur (fedora core 3 )
Du coup je me suis dit que j'allais traiter le pb avec python , car
comme chacun le sait le python c'est bon.
Tout ca pour dire que je ne veux pas utiliser le shell.
quel est la meilleure facon de concaténer des petits fichiers dans un gros pour obtenir les meilleures perfs ?
cat * > gros_fichier
Avec les réserves d'usage si le shell créé gros_fichier avant d'appeler cat.
Appelle ça en Python et c'est bon !
Pas aussi simple. J'ai beaucoup de fichier et je suis donc obligé de passer par un find . -type f -exec cat {} >> grosfichier {} ;
Bizzarement grofichier est rempli de caractères étranges .... Je n'ai ce comportment que sur ce seul serveur (fedora core 3 ) Du coup je me suis dit que j'allais traiter le pb avec python , car comme chacun le sait le python c'est bon.
Tout ca pour dire que je ne veux pas utiliser le shell.
Merci quand même.
jean-marc pouchoulon
J'ai trouvé un début de solution In [28]: for line in fileinput.input(glob.glob("*.txt")): ....: print line
Plus rapide que l'ouverture des fichiers et la réécriture ?
jean-marc pouchoulon wrote:
Hervé Cauwelier wrote:
quel est la meilleure facon de concaténer des petits fichiers dans un gros pour obtenir les meilleures perfs ?
cat * > gros_fichier
Avec les réserves d'usage si le shell créé gros_fichier avant d'appeler cat.
Appelle ça en Python et c'est bon !
Pas aussi simple. J'ai beaucoup de fichier et je suis donc obligé de passer par un find . -type f -exec cat {} >> grosfichier {} ;
Bizzarement grofichier est rempli de caractères étranges .... Je n'ai ce comportment que sur ce seul serveur (fedora core 3 ) Du coup je me suis dit que j'allais traiter le pb avec python , car comme chacun le sait le python c'est bon.
Tout ca pour dire que je ne veux pas utiliser le shell.
Merci quand même.
J'ai trouvé un début de solution
In [28]: for line in fileinput.input(glob.glob("*.txt")):
....: print line
Plus rapide que l'ouverture des fichiers et la réécriture ?
jean-marc pouchoulon wrote:
Hervé Cauwelier wrote:
quel est la meilleure facon de concaténer des petits fichiers dans un
gros pour obtenir les meilleures perfs ?
cat * > gros_fichier
Avec les réserves d'usage si le shell créé gros_fichier avant
d'appeler cat.
Appelle ça en Python et c'est bon !
Pas aussi simple.
J'ai beaucoup de fichier et je suis donc obligé de passer par un
find . -type f -exec cat {} >> grosfichier {} ;
Bizzarement grofichier est rempli de caractères étranges ....
Je n'ai ce comportment que sur ce seul serveur (fedora core 3 )
Du coup je me suis dit que j'allais traiter le pb avec python , car
comme chacun le sait le python c'est bon.
Tout ca pour dire que je ne veux pas utiliser le shell.
J'ai trouvé un début de solution In [28]: for line in fileinput.input(glob.glob("*.txt")): ....: print line
Plus rapide que l'ouverture des fichiers et la réécriture ?
jean-marc pouchoulon wrote:
Hervé Cauwelier wrote:
quel est la meilleure facon de concaténer des petits fichiers dans un gros pour obtenir les meilleures perfs ?
cat * > gros_fichier
Avec les réserves d'usage si le shell créé gros_fichier avant d'appeler cat.
Appelle ça en Python et c'est bon !
Pas aussi simple. J'ai beaucoup de fichier et je suis donc obligé de passer par un find . -type f -exec cat {} >> grosfichier {} ;
Bizzarement grofichier est rempli de caractères étranges .... Je n'ai ce comportment que sur ce seul serveur (fedora core 3 ) Du coup je me suis dit que j'allais traiter le pb avec python , car comme chacun le sait le python c'est bon.
Tout ca pour dire que je ne veux pas utiliser le shell.
