Bonjour,
Je dois intégrer des fichiers textes contenant des infos dans un format
bien défini (il s'agit d'un EDI) dans une base, et inversement.
Je n'ai pas envie que le mapping soit fait en dur dans le programme, car
dans le futur l'application devra gérer plusieurs formats différents,
tout en alimentant les memes données.
XML me semble une orientation naturelle pour faire ce genre de choses,
par exemple en utilisant un fichier qui contient une association entre
la zone du fichier et le champ de la base, mais le problème parait
tellement courant que je me demande s'il existe des solutions open
source qui font çà, pour ne pas réinventer la roue.
En connaissez-vous ?
Cette action est irreversible, confirmez la suppression du commentaire ?
Signaler le commentaire
Veuillez sélectionner un problème
Nudité
Violence
Harcèlement
Fraude
Vente illégale
Discours haineux
Terrorisme
Autre
cfranco
Jocelyn LECOMTE wrote:
Je dois intégrer des fichiers textes contenant des infos dans un format bien défini (il s'agit d'un EDI) dans une base, et inversement. Je n'ai pas envie que le mapping soit fait en dur dans le programme, car dans le futur l'application devra gérer plusieurs formats différents, tout en alimentant les memes données. XML me semble une orientation naturelle pour faire ce genre de choses, par exemple en utilisant un fichier qui contient une association entre la zone du fichier et le champ de la base, mais le problème parait tellement courant que je me demande s'il existe des solutions open source qui font çà, pour ne pas réinventer la roue. En connaissez-vous ?
Si tu pars de fichiers XML vers une base SQL, il y a XMLDBMS qui fait ça:
http://www.rpbourret.com/xmldbms/
Eventuellement, si ça t'intéresse, je connais une boîte qui prépare un ETL (100% Java) basé sur de principe qui devrait sortir d'ici quelques mois, il devrait permettre de faire ce genre d'imports avec tous les réglages possibles et imaginables.
-- Christophe Franco
Jocelyn LECOMTE <lecomte.trash@free.fr> wrote:
Je dois intégrer des fichiers textes contenant des infos dans un format
bien défini (il s'agit d'un EDI) dans une base, et inversement.
Je n'ai pas envie que le mapping soit fait en dur dans le programme, car
dans le futur l'application devra gérer plusieurs formats différents,
tout en alimentant les memes données.
XML me semble une orientation naturelle pour faire ce genre de choses,
par exemple en utilisant un fichier qui contient une association entre
la zone du fichier et le champ de la base, mais le problème parait
tellement courant que je me demande s'il existe des solutions open
source qui font çà, pour ne pas réinventer la roue.
En connaissez-vous ?
Si tu pars de fichiers XML vers une base SQL, il y a XMLDBMS qui fait
ça:
http://www.rpbourret.com/xmldbms/
Eventuellement, si ça t'intéresse, je connais une boîte qui prépare un
ETL (100% Java) basé sur de principe qui devrait sortir d'ici quelques
mois, il devrait permettre de faire ce genre d'imports avec tous les
réglages possibles et imaginables.
Je dois intégrer des fichiers textes contenant des infos dans un format bien défini (il s'agit d'un EDI) dans une base, et inversement. Je n'ai pas envie que le mapping soit fait en dur dans le programme, car dans le futur l'application devra gérer plusieurs formats différents, tout en alimentant les memes données. XML me semble une orientation naturelle pour faire ce genre de choses, par exemple en utilisant un fichier qui contient une association entre la zone du fichier et le champ de la base, mais le problème parait tellement courant que je me demande s'il existe des solutions open source qui font çà, pour ne pas réinventer la roue. En connaissez-vous ?
Si tu pars de fichiers XML vers une base SQL, il y a XMLDBMS qui fait ça:
http://www.rpbourret.com/xmldbms/
Eventuellement, si ça t'intéresse, je connais une boîte qui prépare un ETL (100% Java) basé sur de principe qui devrait sortir d'ici quelques mois, il devrait permettre de faire ce genre d'imports avec tous les réglages possibles et imaginables.
-- Christophe Franco
Jocelyn LECOMTE
Dans mon cas il ne s'agit pas de fichier XML mais de fichiers textes plats. Je vais quand meme jeter un coup d'oeil sur le produit :)
Merci de ta réponse !
Jocelyn LECOMTE wrote:
Je dois intégrer des fichiers textes contenant des infos dans un format bien défini (il s'agit d'un EDI) dans une base, et inversement. Je n'ai pas envie que le mapping soit fait en dur dans le programme, car dans le futur l'application devra gérer plusieurs formats différents, tout en alimentant les memes données. XML me semble une orientation naturelle pour faire ce genre de choses, par exemple en utilisant un fichier qui contient une association entre la zone du fichier et le champ de la base, mais le problème parait tellement courant que je me demande s'il existe des solutions open source qui font çà, pour ne pas réinventer la roue. En connaissez-vous ?
Si tu pars de fichiers XML vers une base SQL, il y a XMLDBMS qui fait ça:
http://www.rpbourret.com/xmldbms/
Eventuellement, si ça t'intéresse, je connais une boîte qui prépare un ETL (100% Java) basé sur de principe qui devrait sortir d'ici quelques mois, il devrait permettre de faire ce genre d'imports avec tous les réglages possibles et imaginables.
Dans mon cas il ne s'agit pas de fichier XML mais de fichiers textes plats.
Je vais quand meme jeter un coup d'oeil sur le produit :)
Merci de ta réponse !
Jocelyn LECOMTE <lecomte.trash@free.fr> wrote:
Je dois intégrer des fichiers textes contenant des infos dans un format
bien défini (il s'agit d'un EDI) dans une base, et inversement.
Je n'ai pas envie que le mapping soit fait en dur dans le programme, car
dans le futur l'application devra gérer plusieurs formats différents,
tout en alimentant les memes données.
XML me semble une orientation naturelle pour faire ce genre de choses,
par exemple en utilisant un fichier qui contient une association entre
la zone du fichier et le champ de la base, mais le problème parait
tellement courant que je me demande s'il existe des solutions open
source qui font çà, pour ne pas réinventer la roue.
En connaissez-vous ?
Si tu pars de fichiers XML vers une base SQL, il y a XMLDBMS qui fait
ça:
http://www.rpbourret.com/xmldbms/
Eventuellement, si ça t'intéresse, je connais une boîte qui prépare un
ETL (100% Java) basé sur de principe qui devrait sortir d'ici quelques
mois, il devrait permettre de faire ce genre d'imports avec tous les
réglages possibles et imaginables.
Dans mon cas il ne s'agit pas de fichier XML mais de fichiers textes plats. Je vais quand meme jeter un coup d'oeil sur le produit :)
Merci de ta réponse !
Jocelyn LECOMTE wrote:
Je dois intégrer des fichiers textes contenant des infos dans un format bien défini (il s'agit d'un EDI) dans une base, et inversement. Je n'ai pas envie que le mapping soit fait en dur dans le programme, car dans le futur l'application devra gérer plusieurs formats différents, tout en alimentant les memes données. XML me semble une orientation naturelle pour faire ce genre de choses, par exemple en utilisant un fichier qui contient une association entre la zone du fichier et le champ de la base, mais le problème parait tellement courant que je me demande s'il existe des solutions open source qui font çà, pour ne pas réinventer la roue. En connaissez-vous ?
Si tu pars de fichiers XML vers une base SQL, il y a XMLDBMS qui fait ça:
http://www.rpbourret.com/xmldbms/
Eventuellement, si ça t'intéresse, je connais une boîte qui prépare un ETL (100% Java) basé sur de principe qui devrait sortir d'ici quelques mois, il devrait permettre de faire ce genre d'imports avec tous les réglages possibles et imaginables.
cfranco
Jocelyn LECOMTE wrote:
Dans mon cas il ne s'agit pas de fichier XML mais de fichiers textes plats. Je vais quand meme jeter un coup d'oeil sur le produit :)
Tu comptes les lire comment tes fichiers texte ? Parce qu'il va falloir en déchiffrer le contenu, et si ce n'est pas dans un format standard ça va être difficile de ne pas devoir faire un développement en dur pour ça...
-- Christophe Franco
Jocelyn LECOMTE <lecomte.trash@free.fr> wrote:
Dans mon cas il ne s'agit pas de fichier XML mais de fichiers textes plats.
Je vais quand meme jeter un coup d'oeil sur le produit :)
Tu comptes les lire comment tes fichiers texte ? Parce qu'il va falloir
en déchiffrer le contenu, et si ce n'est pas dans un format standard ça
va être difficile de ne pas devoir faire un développement en dur pour
ça...
Dans mon cas il ne s'agit pas de fichier XML mais de fichiers textes plats. Je vais quand meme jeter un coup d'oeil sur le produit :)
Tu comptes les lire comment tes fichiers texte ? Parce qu'il va falloir en déchiffrer le contenu, et si ce n'est pas dans un format standard ça va être difficile de ne pas devoir faire un développement en dur pour ça...
-- Christophe Franco
Lionel
Christophe Franco wrote:
Tu comptes les lire comment tes fichiers texte ? Parce qu'il va falloir en déchiffrer le contenu, et si ce n'est pas dans un format standard ça va être difficile de ne pas devoir faire un développement en dur pour ça...
C'est faisable avec un CSV et un copy (sous postgre) dans une table temporaire. Suivi d'un traitement des données en java.
Christophe Franco wrote:
Tu comptes les lire comment tes fichiers texte ? Parce qu'il va
falloir en déchiffrer le contenu, et si ce n'est pas dans un format
standard ça va être difficile de ne pas devoir faire un développement
en dur pour ça...
C'est faisable avec un CSV et un copy (sous postgre) dans une table
temporaire.
Suivi d'un traitement des données en java.
Tu comptes les lire comment tes fichiers texte ? Parce qu'il va falloir en déchiffrer le contenu, et si ce n'est pas dans un format standard ça va être difficile de ne pas devoir faire un développement en dur pour ça...
C'est faisable avec un CSV et un copy (sous postgre) dans une table temporaire. Suivi d'un traitement des données en java.
Jocelyn LECOMTE
Je clarifie mon problème par un exemple: Disons que j'ai le même mécanisme d'interface par échange de fichiers plats dans 3 contextes différents, chaque contexte étant parfaitement normé et défini. Mon champ de BDD 'AgePersonne' est: - dans le contexte 1, à la position 10 sur une longueur de 2 - dans le contexte 2, à la position 5 sur une longueur de 3 - n'est pas échangée dans le 3eme contexte (meme si elle existe dans la BDD)
Donc faire un programme pour chaque contexte est faisable mais lourdingue), je voudrais décrire les mappings entre la base et le fichier et avoir un outil qui aille bien avec ça. J'espère que je suis plus clair.
Christophe Franco wrote:
Tu comptes les lire comment tes fichiers texte ? Parce qu'il va falloir en déchiffrer le contenu, et si ce n'est pas dans un format standard ça va être difficile de ne pas devoir faire un développement en dur pour ça...
C'est faisable avec un CSV et un copy (sous postgre) dans une table temporaire. Suivi d'un traitement des données en java.
Je clarifie mon problème par un exemple:
Disons que j'ai le même mécanisme d'interface par échange de fichiers
plats dans 3 contextes différents, chaque contexte étant parfaitement
normé et défini. Mon champ de BDD 'AgePersonne' est:
- dans le contexte 1, à la position 10 sur une longueur de 2
- dans le contexte 2, à la position 5 sur une longueur de 3
- n'est pas échangée dans le 3eme contexte (meme si elle existe dans la BDD)
Donc faire un programme pour chaque contexte est faisable mais
lourdingue), je voudrais décrire les mappings entre la base et le
fichier et avoir un outil qui aille bien avec ça.
J'espère que je suis plus clair.
Christophe Franco wrote:
Tu comptes les lire comment tes fichiers texte ? Parce qu'il va
falloir en déchiffrer le contenu, et si ce n'est pas dans un format
standard ça va être difficile de ne pas devoir faire un développement
en dur pour ça...
C'est faisable avec un CSV et un copy (sous postgre) dans une table
temporaire.
Suivi d'un traitement des données en java.
Je clarifie mon problème par un exemple: Disons que j'ai le même mécanisme d'interface par échange de fichiers plats dans 3 contextes différents, chaque contexte étant parfaitement normé et défini. Mon champ de BDD 'AgePersonne' est: - dans le contexte 1, à la position 10 sur une longueur de 2 - dans le contexte 2, à la position 5 sur une longueur de 3 - n'est pas échangée dans le 3eme contexte (meme si elle existe dans la BDD)
Donc faire un programme pour chaque contexte est faisable mais lourdingue), je voudrais décrire les mappings entre la base et le fichier et avoir un outil qui aille bien avec ça. J'espère que je suis plus clair.
Christophe Franco wrote:
Tu comptes les lire comment tes fichiers texte ? Parce qu'il va falloir en déchiffrer le contenu, et si ce n'est pas dans un format standard ça va être difficile de ne pas devoir faire un développement en dur pour ça...
C'est faisable avec un CSV et un copy (sous postgre) dans une table temporaire. Suivi d'un traitement des données en java.
Thierry Schembri
Quelque chose comme ça ? : http://www.talend.com/index.php
C'est un excellent ETL et open source en plus :-)
Quelque chose comme ça ? : http://www.talend.com/index.php
Quelque chose comme ça ? : http://www.talend.com/index.php
C'est un excellent ETL et open source en plus :-)
Jocelyn LECOMTE
C'est vrai que ce que je veux faire ressemble à l'utilisation d'un ETL. Je suis allé voir le site et effectivement je pourrais surement le faire avec çà. Mais (il y a un mais), ca m'a l'air d'être surdimensionné par rapport à mon besoin. Moi il me faut juste une petite boîte à outils qui simplifie le dev au maximum, et qui soit facilement livrable chez les clients. Mais l'idée de l'ETL est bonne, je vais voir s'il n'y a pas des solutions plus légères. Je reste à l'écoute de vos idées et merci de vos réponses !
Quelque chose comme ça ? : http://www.talend.com/index.php
C'est un excellent ETL et open source en plus :-)
C'est vrai que ce que je veux faire ressemble à l'utilisation d'un ETL.
Je suis allé voir le site et effectivement je pourrais surement le faire
avec çà.
Mais (il y a un mais), ca m'a l'air d'être surdimensionné par rapport à
mon besoin. Moi il me faut juste une petite boîte à outils qui simplifie
le dev au maximum, et qui soit facilement livrable chez les clients.
Mais l'idée de l'ETL est bonne, je vais voir s'il n'y a pas des
solutions plus légères.
Je reste à l'écoute de vos idées et merci de vos réponses !
Quelque chose comme ça ? : http://www.talend.com/index.php
C'est vrai que ce que je veux faire ressemble à l'utilisation d'un ETL. Je suis allé voir le site et effectivement je pourrais surement le faire avec çà. Mais (il y a un mais), ca m'a l'air d'être surdimensionné par rapport à mon besoin. Moi il me faut juste une petite boîte à outils qui simplifie le dev au maximum, et qui soit facilement livrable chez les clients. Mais l'idée de l'ETL est bonne, je vais voir s'il n'y a pas des solutions plus légères. Je reste à l'écoute de vos idées et merci de vos réponses !
Quelque chose comme ça ? : http://www.talend.com/index.php
