Bigdata
IT Informatique et Technique
Formation Spark : mise en oeuvre et programmation

Connaissances préalables pour suivre cette formation Bigdata :

• Connaissance de Java ou Python, des bases Hadoop, et notions de calculs statistiques

Public de cette formation Bigdata :

• Chefs de projet, data scientistes, développeurs

Objectifs de cette formation Bigdata :

• Savoir mettre en oeuvre Spark pour optimiser des calculs



Méthodes pédagogiques de cette formation Bigdata :

• La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions
• Remise d’une documentation pédagogique papier ou numérique pendant le stage
• 6 à 12 personnes maximum par cours, 1 poste de travail par stagiaire

Formateur de cette formation Bigdata :

• Consultant-formateur expert Bigdata

Méthodes d'évaluation des acquis de cette formation Bigdata :

• Auto-évaluation des acquis par le stagiaire via un questionnaire
• Attestation de fin de stage adressée avec la facture

Contenu détaillé de cette formation Spark : mise en oeuvre et programmation :


     Introduction

    • Présentation Spark, origine du projet, apports, principe de fonctionnement
    • Langages supportés

     Premiers pas

    • Utilisation du shell Spark avec Scala ou Python
    • Gestion du cache

     Règles de développement

    • Mise en pratique en Java et Python
    • Notion de contexte Spark
    • Différentes méthodes de création des RDD : depuis un fichier texte, un stockage externe
    • Manipulations sur les RDD (Resilient Distributed Dataset)
    • Fonctions, gestion de la persistence

     Streaming

    • Objectifs , principe de fonctionnement
    • Notion de StreamingContexte, DStreams, démonstrations

     Cluster

    • Différents cluster managers : Spark en autonome, Mesos, Yarn, Amazon EC2
    • Architecture : SparkContext,Cluster Manager, Executor sur chaque noeud
    • Définitions : Driver program, Cluster manager, deploy mode, Executor, Task, Job
    • Mise en oeuvre avec Spark et Amazon EC2
    • Soumission de jobs, supervision depuis l'interface web

     Intégration hadoop

    • Travaux pratiques avec YARN
    • Création et exploitation d'un cluster Spark/YARN


INTER INTRA Classe virtuelle

Produit : Formation Bigdata

Code du stage : PYCB019

Certification(s) Préparée(s) : Non

Durée de la formation : 3 jours

Prix (HT) : 1625 €

Option déjeuner (HT) : 23 €/jour

PDF
Plan de cours PDF
Bulletin
Bulletin d'inscription
Prochaines sessions
septembre

27/09/2017

novembre

22/11/2017

Contact
Mail
Au sujet de cette formation
Telephone
Tél. : 01 71 19 70 30
Autres formations
Haut de page