Mapping fichier texte / BDD

Le
Jocelyn LECOMTE
Bonjour,
Je dois intégrer des fichiers textes contenant des infos dans un format
bien défini (il s'agit d'un EDI) dans une base, et inversement.
Je n'ai pas envie que le mapping soit fait en dur dans le programme, car
dans le futur l'application devra gérer plusieurs formats différents,
tout en alimentant les memes données.
XML me semble une orientation naturelle pour faire ce genre de choses,
par exemple en utilisant un fichier qui contient une association entre
la zone du fichier et le champ de la base, mais le problème parait
tellement courant que je me demande s'il existe des solutions open
source qui font çà, pour ne pas réinventer la roue.
En connaissez-vous ?

Merci d'avance
Questions / Réponses high-tech
Vidéos High-Tech et Jeu Vidéo
Téléchargements
Vos réponses
Gagnez chaque mois un abonnement Premium avec GNT : Inscrivez-vous !
Trier par : date / pertinence
cfranco
Le #228622
Jocelyn LECOMTE
Je dois intégrer des fichiers textes contenant des infos dans un format
bien défini (il s'agit d'un EDI) dans une base, et inversement.
Je n'ai pas envie que le mapping soit fait en dur dans le programme, car
dans le futur l'application devra gérer plusieurs formats différents,
tout en alimentant les memes données.
XML me semble une orientation naturelle pour faire ce genre de choses,
par exemple en utilisant un fichier qui contient une association entre
la zone du fichier et le champ de la base, mais le problème parait
tellement courant que je me demande s'il existe des solutions open
source qui font çà, pour ne pas réinventer la roue.
En connaissez-vous ?


Si tu pars de fichiers XML vers une base SQL, il y a XMLDBMS qui fait
ça:

http://www.rpbourret.com/xmldbms/

Eventuellement, si ça t'intéresse, je connais une boîte qui prépare un
ETL (100% Java) basé sur de principe qui devrait sortir d'ici quelques
mois, il devrait permettre de faire ce genre d'imports avec tous les
réglages possibles et imaginables.

--
Christophe Franco

Jocelyn LECOMTE
Le #228583
Dans mon cas il ne s'agit pas de fichier XML mais de fichiers textes plats.
Je vais quand meme jeter un coup d'oeil sur le produit :)

Merci de ta réponse !

Jocelyn LECOMTE
Je dois intégrer des fichiers textes contenant des infos dans un format
bien défini (il s'agit d'un EDI) dans une base, et inversement.
Je n'ai pas envie que le mapping soit fait en dur dans le programme, car
dans le futur l'application devra gérer plusieurs formats différents,
tout en alimentant les memes données.
XML me semble une orientation naturelle pour faire ce genre de choses,
par exemple en utilisant un fichier qui contient une association entre
la zone du fichier et le champ de la base, mais le problème parait
tellement courant que je me demande s'il existe des solutions open
source qui font çà, pour ne pas réinventer la roue.
En connaissez-vous ?


Si tu pars de fichiers XML vers une base SQL, il y a XMLDBMS qui fait
ça:

http://www.rpbourret.com/xmldbms/

Eventuellement, si ça t'intéresse, je connais une boîte qui prépare un
ETL (100% Java) basé sur de principe qui devrait sortir d'ici quelques
mois, il devrait permettre de faire ce genre d'imports avec tous les
réglages possibles et imaginables.




cfranco
Le #228580
Jocelyn LECOMTE
Dans mon cas il ne s'agit pas de fichier XML mais de fichiers textes plats.
Je vais quand meme jeter un coup d'oeil sur le produit :)


Tu comptes les lire comment tes fichiers texte ? Parce qu'il va falloir
en déchiffrer le contenu, et si ce n'est pas dans un format standard ça
va être difficile de ne pas devoir faire un développement en dur pour
ça...

--
Christophe Franco

Lionel
Le #228579
Christophe Franco wrote:
Tu comptes les lire comment tes fichiers texte ? Parce qu'il va
falloir en déchiffrer le contenu, et si ce n'est pas dans un format
standard ça va être difficile de ne pas devoir faire un développement
en dur pour ça...


C'est faisable avec un CSV et un copy (sous postgre) dans une table
temporaire.
Suivi d'un traitement des données en java.

Jocelyn LECOMTE
Le #228578
Je clarifie mon problème par un exemple:
Disons que j'ai le même mécanisme d'interface par échange de fichiers
plats dans 3 contextes différents, chaque contexte étant parfaitement
normé et défini. Mon champ de BDD 'AgePersonne' est:
- dans le contexte 1, à la position 10 sur une longueur de 2
- dans le contexte 2, à la position 5 sur une longueur de 3
- n'est pas échangée dans le 3eme contexte (meme si elle existe dans la BDD)

Donc faire un programme pour chaque contexte est faisable mais
lourdingue), je voudrais décrire les mappings entre la base et le
fichier et avoir un outil qui aille bien avec ça.
J'espère que je suis plus clair.

Christophe Franco wrote:
Tu comptes les lire comment tes fichiers texte ? Parce qu'il va
falloir en déchiffrer le contenu, et si ce n'est pas dans un format
standard ça va être difficile de ne pas devoir faire un développement
en dur pour ça...


C'est faisable avec un CSV et un copy (sous postgre) dans une table
temporaire.
Suivi d'un traitement des données en java.





Thierry Schembri
Le #228577
Quelque chose comme ça ? : http://www.talend.com/index.php

C'est un excellent ETL et open source en plus :-)
Jocelyn LECOMTE
Le #228576
C'est vrai que ce que je veux faire ressemble à l'utilisation d'un ETL.
Je suis allé voir le site et effectivement je pourrais surement le faire
avec çà.
Mais (il y a un mais), ca m'a l'air d'être surdimensionné par rapport à
mon besoin. Moi il me faut juste une petite boîte à outils qui simplifie
le dev au maximum, et qui soit facilement livrable chez les clients.
Mais l'idée de l'ETL est bonne, je vais voir s'il n'y a pas des
solutions plus légères.
Je reste à l'écoute de vos idées et merci de vos réponses !

Quelque chose comme ça ? : http://www.talend.com/index.php

C'est un excellent ETL et open source en plus :-)




Publicité
Poster une réponse
Anonyme