Formation Big Data supervision : Grafana, Kibana, Graphite, Prometheus

Référence : PYCB046
Durée : 21 heures
Certification : Non
Eligible CPF : Non

CONNAISSANCES PREALABLES

Connaissance générale des systèmes d'informations et des bases de données

PROFIL DES STAGIAIRES

Exploitants, architectes BigData, chefs de projet
Toute personne souhaitant mettre en oeuvre un système de supervision d'une ferme BigData

OBJECTIFS

Connaître les outils et mécanismes permettant de superviser des fermes BigData
Identifier les critères de choix

METHODES PEDAGOGIQUES

Remise d’une documentation pédagogique papier ou numérique pendant le stage
La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions
6 à 12 personnes maximum par cours, 1 poste de travail par stagiaire

METHODES D'EVALUATION DES ACQUIS

Auto-évaluation des acquis par le stagiaire via un questionnaire
Attestation de fin de stage adressée avec la facture

FORMATEUR

Consultant-Formateur expert Bigdata

CONTENU DU COURS Bigdata

- Supervision : définitions

Les objectifs de la supervision, les techniques disponibles
La supervision d'une ferme BigData
Objets supervisés
Les services et ressources
Protocoles d'accès
Exporteurs distribués de données
Définition des ressources à surveiller
Journaux et métriques
Application aux fermes BigData : Hadoop, Cassandra, MongoDB

- Mise en oeuvre

Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
Produits : Prometheus, Graphite, ElasticSearch
Présentation, architectures
Les sur-couches : Kibana, Grafana

- JMX

Principe des accès JMX
MBeans
Visualisation avec jconsole et jmxterm
Suivi des performances cassandra : débit d'entrées/sorties, charges, volumes de données, tables, …

- Prometheus

Installation et configuration de base
Définition des ressources supervisées, des intervalles de collecte
Démarrage du serveur Prometheus
Premiers pas dans la console web, et l'interface graphique
Exporteur JMX
Exporteur mongodb
Démonstration avec Cassandra ou Hadoop/HBase
Configuration des agents sur les noeuds de calculs
Aggrégation des données JMX
Expressions régulières
Requêtage
Visualisation des données

- Graphite

Modèle de données et mesures
Format des données stockées, notion de timestamp
Types de mesures : compteurs, jauges, histogrammes, résumés
Identification des ressources supervisées : notions d'instances, de jobs
Démonstration avec Cassandra
Comparaison avec Prometheus

- Exploration et visualisation des données

Mise en oeuvre de Grafana
Installation, configuration
Pose de filtres sur Prometheus et remontée des données
Etude des différents types de graphiques disponibles
Aggrégation de données
Appairage des données entre Prométheus et Grafana
Visualisation et sauvegarde de graphiques création de tableaux de bord et rapports à partir des graphiques

- Kibana, installation et configuration

Installation, configuration du mapping avec Elasticsearch
Paramétrage dans le fichier kibana.yml
Mapping automatique ou manuel
Configuration des indexes à explorer

INTER
INTRA

Coût :

2 310,00 € HT

Filière :

Big Data

Dates et lieux de formation

caca

                                                    array(3) {
  [0]=>
  array(5) {
    ["code"]=>
    string(0) ""
    ["date"]=>
    string(10) "26/05/2025"
    ["guarantee"]=>
    bool(true)
    ["place"]=>
    string(5) "PARIS"
    ["city"]=>
    string(5) "PARIS"
  }
  [1]=>
  array(5) {
    ["code"]=>
    string(0) ""
    ["date"]=>
    string(10) "03/09/2025"
    ["guarantee"]=>
    bool(true)
    ["place"]=>
    string(5) "PARIS"
    ["city"]=>
    string(5) "PARIS"
  }
  [2]=>
  array(5) {
    ["code"]=>
    string(0) ""
    ["date"]=>
    string(10) "15/12/2025"
    ["guarantee"]=>
    bool(false)
    ["place"]=>
    string(5) "PARIS"
    ["city"]=>
    string(5) "PARIS"
  }
}