Big Data supervision : Grafana, Kibana, Graphite, Prometheus

  • Référence : PYCB046
  • Durée : 3 jours (21 heures)
  • Certification : Non
  • Eligible CPF : Non

CONNAISSANCES PREALABLES

  • Connaissance générale des systèmes d'informations et des bases de données

PROFIL DES STAGIAIRES

  • Exploitants, architectes BigData, chefs de projet
  • Toute personne souhaitant mettre en oeuvre un système de supervision d'une ferme BigData

OBJECTIFS

  • Connaître les outils et mécanismes permettant de superviser des fermes BigData
  • Identifier les critères de choix

METHODES PEDAGOGIQUES

  • Remise d’une documentation pédagogique papier ou numérique pendant le stage
  • La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions
  • 6 à 12 personnes maximum par cours, 1 poste de travail par stagiaire

METHODES D'EVALUATION DES ACQUIS

  • Auto-évaluation des acquis par le stagiaire via un questionnaire
  • Attestation de fin de stage adressée avec la facture

FORMATEUR

Consultant-Formateur expert Bigdata

CONTENU DU COURS

1 - Supervision : définitions

  • Les objectifs de la supervision, les techniques disponibles
  • La supervision d’une ferme BigData
  • Objets supervisés
  • Les services et ressources
  • Protocoles d’accès
  • Exporteurs distribués de données
  • Définition des ressources à surveiller
  • Journaux et métriques
  • Application aux fermes BigData : Hadoop, Cassandra, MongoDB

2 - Mise en oeuvre

  • Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
  • Produits : Prometheus, Graphite, ElasticSearch
  • Présentation, architectures
  • Les sur-couches : Kibana, Grafana

3 - JMX

  • Principe des accès JMX
  • MBeans
  • Visualisation avec jconsole et jmxterm
  • Suivi des performances cassandra : débit d’entrées/sorties, charges, volumes de données, tables, …

4 - Prometheus

  • Installation et configuration de base
  • Définition des ressources supervisées, des intervalles de collecte
  • Démarrage du serveur Prometheus
  • Premiers pas dans la console web, et l’interface graphique
  • Exporteur JMX
  • Exporteur mongodb
  • Démonstration avec Cassandra ou Hadoop/HBase
  • Configuration des agents sur les noeuds de calculs
  • Aggrégation des données JMX
  • Expressions régulières
  • Requêtage
  • Visualisation des données

5 - Graphite

  • Modèle de données et mesures
  • Format des données stockées, notion de timestamp
  • Types de mesures : compteurs, jauges, histogrammes, résumés
  • Identification des ressources supervisées : notions d’instances, de jobs
  • Démonstration avec Cassandra
  • Comparaison avec Prometheus

6 - Exploration et visualisation des données

  • Mise en oeuvre de Grafana
  • Installation, configuration
  • Pose de filtres sur Prometheus et remontée des données
  • Etude des différents types de graphiques disponibles
  • Aggrégation de données
  • Appairage des données entre Prométheus et Grafana
  • Visualisation et sauvegarde de graphiques création de tableaux de bord et rapports à partir des graphiques

7 - Kibana, installation et configuration

  • Installation, configuration du mapping avec Elasticsearch
  • Paramétrage dans le fichier kibana.yml
  • Mapping automatique ou manuel
  • Configuration des indexes à explorer
cookie