Connaissance de l'écosystème hadoop et bases de programmation dans un langage objet (java ou scala ou python)
DURÉE
1 journée (7 heures)
PROFIL DES STAGIAIRES
Chefs de projet, développeurs souhaitant mettre en oeuvre kafka pour la distribution de mesages.
OBJECTIFS
Comprendre le fonctionnement de kafka, acquérir les bonnes pratiques de distribution de messages, savoir configurer kafka pour intégrer les données de différents formats et de sources différentes.
METHODES PEDAGOGIQUES
Mise à disposition d’un poste de travail par participant
Remise d’une documentation pédagogique papier ou numérique pendant le stage
La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions
METHODES D'EVALUATION DES ACQUIS
Auto-évaluation des acquis par le stagiaire via un questionnaire
Attestation de fin de stage adressée avec la facture
FORMATEUR
Consultant-Formateur expert Bigdata
CONTENU DU COURS
1 - Introduction
Le projet Kafka : historique, fonctionnalités, principe de fonctionnement.
Présentation de l’achitecture et du rôle de chaque composant : broker, producer, consumer Liaison avec Zookeeper
2 - Mise en oeuvre
Préconisations d’installation et prérequis
Travaux pratiques: installation et lancement de zookeeper et du kafka-server, Création d’un topic simple, Mise en oeuvre d’une chaîne de base.
Visualisation des messages avec kafka-console-consumer
3 - Multi-broker
Etude de la configuration du broker
Travaux pratiques : création d’une configuration multi-broker, démarrage de plusieurs noeuds
4 - La réplication
Facteur de réplication
Partitions
Travaux pratiques: tests de haute disponibilité dans une configuration multinoeuds
5 - Kafka Connect
Présentation des fonctionnalités : intégration de données d’origines multiples, modes de fonctionnement (standalone ou distribué)
Travaux pratiques : configuration de connecteurs, ingestion de données, création d’une chaîne de transformation
6 - Kafka Streams
Les apports de Kafka Streams: applications temps réel et microservices