Présentation de Talend Open Studio
- L'intégration de données. Les solutions ETL.
- Le Big Data. Données non structurées. Bases de données NoSQL.
- L'écosystème Hadoop (HDFS, MapReduce, HBase, Hive, Pig...).
- TOS for Data Integration : intégration des données.
- TOS for Data Quality : gestion de la qualité de la donnée.
- TOS for Big Data.
- Philosophie du produit.
Travaux pratiques
Installation/configuration de TOS for Big Data. Prise en main.
Concevoir des Jobs
- Présentation de Business Modeler, de Job Designer.
- Composants de transformation simples.
- Visualiser du code généré, exécuter un job.
- Paramétrer les jobs.
- Créer et gérer ses propres variables.
- Bonnes pratiques de conception.
Travaux pratiques
Développement d'un job se connectant à une source de données, filtrage, transformation et stockage du résultat dans un fichier.
Intégration de données dans un cluster et des bases de données NoSQL
- Définition des métadonnées de connexion du cluster Hadoop.
- Connexion à une base de MongoDB, Neo4j, Cassandra ou Hbase et export de données.
- Intégration simple de données avec un cluster Hadoop.
- Présentation de composants d’extension.
- Utilisation du composant d’extension : capture de tweets et importation directe dans HDFS.
Travaux pratiques
Lire des tweets et les stocker sous forme de fichiers dans HDFS, analyser la fréquence des thèmes abordés et mémorisation du résultat dans HBase.
Import / Export avec SQOOP
- Utiliser Sqoop pour importer, exporter, mettre à jour des données entre systèmes RDBMS et HDFS.
- Importer/exporter partiellement, de façon incrémentale des tables.
- Importer/Exporter une base SQL depuis et vers HDFS.
- Les formats de stockage dans le Big Data (AVRO, Parquet, ORC…).
Travaux pratiques
Réaliser une migration de tables relationnelles sur HDFS et réciproquement.
Effectuer des manipulations sur les données
- Présentation de la brique PIG et de son langage PigLatin.
- Principaux composants Pig de Talend, conception de flux Pig.
- Développement de routines UDF.
Travaux pratiques
Dégager les tendances d’utilisation d’un site Web à partir de l’analyse de ses logs.
Architecture et bonnes pratiques dans un cluster Hadoop
- Concevoir un stockage efficient dans HADOOP.
- Datalake versus Datawarehouse, doit-on choisir ?
- HADOOP et le Plan de Reprise d’Activité (PRA) en cas d’incident majeur.
- Automatiser ses workflows.
Travaux pratiques
Créer son datalake et automatiser son fonctionnement.
Analyser et entreposer vos données avec Hive
- Métadonnées de connexion et de schéma Hive.
- Le langage HiveQL.
- Conception de flux Hive, exécution de requêtes.
- Mettre en œuvre les composants ELT de Hive.
Travaux pratiques
Stocker dans HBase l’évolution du cours d’une action, consolider ce flux avec Hive de manière à matérialiser son évolution heure par heure pour une journée donnée.
3j
- 21h00 
