background preloader

Talend

Facebook Twitter

7.21 Configurer une règle de validation - Talend Enterprise Data Integration Studio Professional edition v5.1b - User Guide (FR) Une règle de validation est une règle simple ou d’intégrité que vous pouvez appliquer à vos éléments de métadonnées afin de vérifier la validité de vos données.

7.21 Configurer une règle de validation - Talend Enterprise Data Integration Studio Professional edition v5.1b - User Guide (FR)

Il y a deux types de vérifications. La vérification simple, qui vérifie si les valeurs sont correctes et la vérification de l’intégrité par référence. Les deux vérifications sont applicables aux tables de bases de données, aux colonnes individuelles, aux métadonnées de fichiers et à tout élément pertinent des métadonnées. Toutes vos règles métier et vos règles de validation peuvent être centralisées dans le Repository des métadonnées, ce qui vous permet de les modifier, de les activer, de les désactiver et de les supprimer selon vos besoins.

Elles peuvent être définies soit à partir de l’entrée des métadonnées Validation Rules, soit directement à partir du schéma ou des colonnes de la métadonnée que vous souhaitez analyser. Outil de conversion Datastage - Talend. Datastage et Talend sont deux ETL reconnus sur le marché.

Outil de conversion Datastage - Talend

Le premier fait partie de la suite WebSphere d'IBM, le second est open source et apporte de nombreux avantages par rapport à Datastage dont les principaux sont (liste non exhaustive) : un faible coût (voire la gratuité) ; un large choix de connectivités, de composants ; le support d'une communauté très active. Même si Datastage possède son propre moteur alors que Talend génère du code (java ou perl), ils partagent la même philosophie du traitement de la donnée en différentes étapes dans des stages ou des composants. Un outil de conversion des jobs de Datastage vers Talend a été développé et mis à disposition de la communauté : ETL Converter. Cette application prend en entrée des fichiers XML de jobs Datastage, les convertit et les intègre dans un projet Talend. Cet article vous présente l'utilisation de cet outil et les problèmes que l'on peut rencontrer dans le cadre d'une migration. Les versions testées sont : Installation et configuration de Talend Integration Suite 3.0.1.

Toutes les ressources seront installées dans le dossier /rsTalend dont l'utilisateur usrtalen est le propriétaire.

Installation et configuration de Talend Integration Suite 3.0.1

Au préalable, nous allons devoir installer et configurer plusieurs services et logiciels : MySQL 5+ or MsSQL Serveur (2000 2005) Java JVM et JRE Tomcat 5.5.x Subversion (SVN) Veuillez noter que je ne rentrerai pas dans le détail de l'installation et la configuration de ces logiciels. III-A-1. MySQL 5+▲ Pour gérer vos projets, TIS utilise soit une base MySQL soit une base MSSQL. Téléchargez et installez la dernière version de MySQL avec votre gestionnaire de dépôts. Démarrez le serveur MySQL : # /etc/init.d/mysqld start Avec les droits root de la machine, configurez le compte root MySQL en lui ajoutant un mot de passe : # mysqladmin -u root password rootpassword Connectez-vous à la console MySQL sur la table MySQL avec le compte root MySQL : Créez la base de données talend_administrator et assignez les droits à l'utilisateur talend_admin (qui sera créé dans la foulée). Présentation de la plateforme Talend TIS. La version payante de Talend TIS permet d’industrialiser les jobs.

Présentation de la plateforme Talend TIS

La plateforme est constituée de Talend Integration Suite Studio (TIS) où le développeur va créer ses jobs et pourvoir profiter de l’AMC (Activity Monitoring Controller) pour contrôler l’exécution des jobsTalend Administration Center (TAC) où l’administrateur des jobs va pouvoir : de créer des comptes qui auront accès à l’application de créer des projetsde gérer les droits, autorisationsprévoir des taches de planification (Trigger : simple trigger (juste en précisant le nombre de fois qu’il doit être exécuté et un intervalle de temps), le CronUI Trigger en précisant des dates précises dans le mois par exemple et enfin le File Trigger qui permet d’exécuter un job si un fichier arrive dans un répertoire.)déclarer des serveurs d’exécution où les jobs schédulés seront exécutés (serveurs physiques ou virtuels)Suivre l’évolution des jobs grâce à des Dashbord avec l’AMD (Activity Monitoring Dashboard)

Best practices Subversion SVN in TIS Team Edition (Page 1) / Open Data Integration - Usage, Operation / Talend Community Forum. Hello Talend Studio is not a SVN client tool, so we can use other svn client tool to use revision control, here I recommend the TortoiseSVN one of svn client tool.

Best practices Subversion SVN in TIS Team Edition (Page 1) / Open Data Integration - Usage, Operation / Talend Community Forum

You can download it from this website is a really easy to use Revision control / version control / source control software for Windows. With it, I can view the history , revert to a specify revision, compare revision to previous revision. I show the steps to use TortoiseSVN :1. Download the TortoiseSVN from the link Install TortoiseSVN(need to restart computer).3. Check out project to a directory on local machine.4.1. . - I cannot comment a revision (put meaningful names as comment) We can't add a comment to a revision on the studio when a new revision is commit, the comment is added by default like this (if you show the log of history on TortoiseSVN, you could see that):when you save the job:User 'admin@company.com' at 16:29:31 CST 2010-09-20 : Save process item 'job1' at path '' in project 'p3' Best regardsShong.