Kafka : Ingestion de message

  • Référence : PYCB041
  • Durée : 1 jour (7 heures)
  • Certification : Non
  • Eligible CPF : Non

CONNAISSANCES PREALABLES

  • Connaissance de l'écosystème hadoop et bases de programmation dans un langage objet (java ou scala ou python)

PROFIL DES STAGIAIRES

  • Chefs de projet, développeurs souhaitant mettre en oeuvre kafka pour la distribution de mesages.

OBJECTIFS

  • Comprendre le fonctionnement de kafka, acquérir les bonnes pratiques de distribution de messages, savoir configurer kafka pour intégrer les données de différents formats et de sources différentes.

METHODES PEDAGOGIQUES

  • Mise à disposition d’un poste de travail par participant
  • Remise d’une documentation pédagogique papier ou numérique pendant le stage
  • La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions

METHODES D'EVALUATION DES ACQUIS

  • Auto-évaluation des acquis par le stagiaire via un questionnaire
  • Attestation de fin de stage adressée avec la facture

FORMATEUR

Consultant-Formateur expert Bigdata

CONTENU DU COURS

1 - Introduction

  • Le projet Kafka : historique, fonctionnalités, principe de fonctionnement.
  • Présentation de l’achitecture et du rôle de chaque composant : broker, producer, consumer Liaison avec Zookeeper

2 - Mise en oeuvre

  • Préconisations d’installation et prérequis
  • Travaux pratiques: installation et lancement de zookeeper et du kafka-server, Création d’un topic simple, Mise en oeuvre d’une chaîne de base.
  • Visualisation des messages avec kafka-console-consumer

3 - Multi-broker

  • Etude de la configuration du broker
  • Travaux pratiques : création d’une configuration multi-broker, démarrage de plusieurs noeuds

4 - La réplication

  • Facteur de réplication
  • Partitions
  • Travaux pratiques: tests de haute disponibilité dans une configuration multinoeuds

5 - Kafka Connect

  • Présentation des fonctionnalités : intégration de données d’origines multiples, modes de fonctionnement (standalone ou distribué)
  • Travaux pratiques : configuration de connecteurs, ingestion de données, création d’une chaîne de transformation

6 - Kafka Streams

  • Les apports de Kafka Streams: applications temps réel et microservices
cookie