EduGroupe accompagne les entreprises dans leurs projets de formation liée aux technologies informatiques
Formation Big Data supervision : Grafana, Kibana, Graphite, Prometheus
- Référence : PYCB046
- Durée : 21 heures
- Certification : Non
- Eligible CPF : Non
CONNAISSANCES PREALABLES
- Connaissance générale des systèmes d'informations et des bases de données
PROFIL DES STAGIAIRES
- Exploitants, architectes BigData, chefs de projet
- Toute personne souhaitant mettre en oeuvre un système de supervision d'une ferme BigData
OBJECTIFS
- Connaître les outils et mécanismes permettant de superviser des fermes BigData
- Identifier les critères de choix
METHODES PEDAGOGIQUES
- Remise d’une documentation pédagogique papier ou numérique pendant le stage
- La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions
- 6 à 12 personnes maximum par cours, 1 poste de travail par stagiaire
METHODES D'EVALUATION DES ACQUIS
- Auto-évaluation des acquis par le stagiaire via un questionnaire
- Attestation de fin de stage adressée avec la facture
FORMATEUR
Consultant-Formateur expert Bigdata
CONTENU DU COURS Bigdata
1 - Supervision : définitions
- Les objectifs de la supervision, les techniques disponibles
- La supervision d’une ferme BigData
- Objets supervisés
- Les services et ressources
- Protocoles d’accès
- Exporteurs distribués de données
- Définition des ressources à surveiller
- Journaux et métriques
- Application aux fermes BigData : Hadoop, Cassandra, MongoDB
2 - Mise en oeuvre
- Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
- Produits : Prometheus, Graphite, ElasticSearch
- Présentation, architectures
- Les sur-couches : Kibana, Grafana
3 - JMX
- Principe des accès JMX
- MBeans
- Visualisation avec jconsole et jmxterm
- Suivi des performances cassandra : débit d’entrées/sorties, charges, volumes de données, tables, …
4 - Prometheus
- Installation et configuration de base
- Définition des ressources supervisées, des intervalles de collecte
- Démarrage du serveur Prometheus
- Premiers pas dans la console web, et l’interface graphique
- Exporteur JMX
- Exporteur mongodb
- Démonstration avec Cassandra ou Hadoop/HBase
- Configuration des agents sur les noeuds de calculs
- Aggrégation des données JMX
- Expressions régulières
- Requêtage
- Visualisation des données
5 - Graphite
- Modèle de données et mesures
- Format des données stockées, notion de timestamp
- Types de mesures : compteurs, jauges, histogrammes, résumés
- Identification des ressources supervisées : notions d’instances, de jobs
- Démonstration avec Cassandra
- Comparaison avec Prometheus
6 - Exploration et visualisation des données
- Mise en oeuvre de Grafana
- Installation, configuration
- Pose de filtres sur Prometheus et remontée des données
- Etude des différents types de graphiques disponibles
- Aggrégation de données
- Appairage des données entre Prométheus et Grafana
- Visualisation et sauvegarde de graphiques création de tableaux de bord et rapports à partir des graphiques
7 - Kibana, installation et configuration
- Installation, configuration du mapping avec Elasticsearch
- Paramétrage dans le fichier kibana.yml
- Mapping automatique ou manuel
- Configuration des indexes à explorer
