Formation Spark, Développer des applications pour le BigData

Référence : PYCB037B
Durée : 21 heures
Certification : Non
Eligible CPF : Non

CONNAISSANCES PREALABLES

Avoir des connaissances de Java ou Python et des notions de calculs statistiques

PROFIL DES STAGIAIRES

Chefs de projet, Data Scientists, Développeurs, Architectes...

OBJECTIFS

Maîtriser les concepts fondamentaux de Spark
Savoir intégrer Spark dans un environnement Hadoop
Développer des applications d’analyse en temps réel avec Spark Streaming
Faire de la programmation parallèle avec Spark sur un cluster
Manipuler des données avec Spark SQL
Avoir une première approche du Machine Learning

METHODES PEDAGOGIQUES

6 à 12 personnes maximum par cours, 1 poste de travail par stagiaire
Remise d’une documentation pédagogique papier ou numérique pendant le stage
La formation est constituée d’apports théoriques, d’exercices pratiques et de réflexions

METHODES D'EVALUATION DES ACQUIS

Auto-évaluation des acquis par le stagiaire via un questionnaire
Attestation de fin de stage adressée avec la facture

FORMATEUR

Consultant-Formateur expert Bigdata

CONTENU DU COURS Bigdata

- Maîtriser les concepts fondamentaux de Spark

Présentation Spark, origine du projet, apports, principe de fonctionnement. Langages supportés
Modes de fonctionnement : batch/Streaming
Bibliothèques : Machine Learning, IA
Mise en oeuvre sur une architecture distribuée. Architecture : clusterManager, driver, worker, …
Architecture : SparkContext, SparkSession, Cluster Manager, Executor sur chaque noeud. Définitions : Driver program, Cluster manager, deploy mode, Executor, Task, Job

- Savoir intégrer Spark dans un environnement Hadoop

Intégration de Spark avec HDFS, HBase
Création et exploitation d'un cluster Spark/YARN. Intégration de données sqoop, kafka, flume vers une architecture Hadoop et traitements par Spark
Intégration de données AWS S3
Différents cluster managers : Spark interne, avec Mesos, avec Yarn, avec Amazon EC2
Exemple d'atelier : Mise en oeuvre avec Spark sur Hadoop HDFS et Yarn. Soumission de jobs, supervision depuis l'interface web

- Développer des applications d’analyse en temps réel avec Spark Streaming

Objectifs , principe de fonctionnement: stream processing. Source de données : HDFS, Flume, Kafka, …
Notion de StreamingContext, DStreams, démonstrations
Exemple d'atelier : traitement de flux DStreams en Scala. Watermarking. Gestion des micro-batches
Intégration de Spark Streaming avec Kafka
Exemple d'atelier : mise en oeuvre d'une chaîne de gestion de données en flux tendu : IoT, Kafka, SparkStreaming, Spark. Analyse des données au fil de l'eau

- Faire de la programmation parallèle avec Spark sur un cluster

Utilisation du shell Spark avec Scala ou Python. Modes de fonctionnement. Interprété, compilé
Utilisation des outils de construction. Gestion des versions de bibliothèques
Exemple d'atelier : Mise en pratique en Java, Scala et Python. Notion de contexte Spark. Extension aux sessions Spark

- Manipuler des données avec Spark SQL

Spark et SQL
Traitement de données structurées. L'API Dataset et DataFrames
Jointures. Filtrage de données, enrichissement. Calculs distribués de base. Introduction aux traitements de données avec map/reduce
Lecture/écriture de données : Texte, JSon, Parquet, HDFS, fichiers séquentiels
Optimisation des requêtes. Mise en oeuvre des Dataframes et DataSet. Compatibilité Hive
Exemple d'ateliers : écriture d'un ETL entre HDFS et HBase. Extraction, modification de données dans une base distribuée. Collections de données distribuées. Exemples

- Support Cassandra

Description rapide de l'architecture Cassandra. Mise en oeuvre depuis Spark. Exécution de travaux Spark s'appuyant sur une grappe Cassandra

- Spark GraphX

Fourniture d'algorithmes, d'opérateurs simples pour des calculs statistiques sur les graphes
Exemple d'atelier : exemples d'opérations sur les graphes

- Avoir une première approche du Machine Learning

Machine Learning avec Spark, algorithmes standards supervisés et non-supervisés (RandomForest, LogisticRegression, KMeans, …)
Gestion de la persistance, statistiques
Mise en oeuvre avec les DataFrames
Exemple d'atelier : mise en oeuvre d'une régression logistique sur Spark

INTER
INTRA

Coût :

2 510,00 € HT

Filière :

Big Data

Dates et lieux de formation

caca

                                                    array(2) {
  [0]=>
  array(5) {
    ["code"]=>
    string(0) ""
    ["date"]=>
    string(10) "01/09/2025"
    ["guarantee"]=>
    bool(false)
    ["place"]=>
    string(5) "PARIS"
    ["city"]=>
    string(5) "PARIS"
  }
  [1]=>
  array(5) {
    ["code"]=>
    string(0) ""
    ["date"]=>
    string(10) "01/12/2025"
    ["guarantee"]=>
    bool(false)
    ["place"]=>
    string(5) "PARIS"
    ["city"]=>
    string(5) "PARIS"
  }
}

À DISTANCE

01/09/2025

01/12/2025

PARIS

01/09/2025

01/12/2025

Je m'inscris

Je demande un devis

Formulaire d'inscription

« * » indique les champs nécessaires

Formation sélectionnée

Merci de choisir la date de la session qui vous intéresse*

Afin de vous adresser le bon pour accord ou devis correspondant, merci de bien vouloir nous indiquer qui vous êtes :*

Salarié / Commanditaire / Agent public

Particulier / Indépendant

Vos informations

Civilité*

Nom*

Prénom*

E-mail*

Téléphone*

Fonction

Adresse*

Code postal*

Ville*

Notre référent handicap se tient à votre disposition au 01.71.19.70.30 ou par mail à referent.handicap@edugroupe.com pour recueillir vos éventuels besoins d’aménagements, afin de vous offrir la meilleure expérience possible.

Informations société

Société*

Téléphone*

Adresse*

Code postal*

Ville*

Ce champ est masqué lorsque l‘on voit le formulaire.

SIRET

Ce champ est masqué lorsque l‘on voit le formulaire.

N° TVA intracommunautaire

Pour cette inscription, vous êtes :*

Participant

Le responsable de l'inscription

Participant

Civilité*

Nom*

Prénom*

E-mail*

Téléphone*

Fonction*

Responsable

Civilité*

Nom*

Prénom*

E-mail*

Téléphone*

Fonction*

Une prise en charge OPCO est-elle prévu pour cette formation ?

Oui

Non

Le(s) participant(s)

Liste des participants

Civilité	Nom	Prénom	E-mail	Téléphone	Fonction	Suivi de la formation	Actions

Il n'y a pas de participants.

Validation et envoi

Apportez des précisions à votre demande, si besoin :

Comment avez-vous connu EduGroupe ?*

Name

14H 1 670,00 € HT

07/07/2025 (prochaine session)DÉCOUVRIR

Formation Spark, Développer des applications pour le BigData

CONNAISSANCES PREALABLES

PROFIL DES STAGIAIRES

OBJECTIFS

METHODES PEDAGOGIQUES

METHODES D'EVALUATION DES ACQUIS

FORMATEUR

CONTENU DU COURS Bigdata

- Maîtriser les concepts fondamentaux de Spark

- Savoir intégrer Spark dans un environnement Hadoop

- Développer des applications d’analyse en temps réel avec Spark Streaming

- Faire de la programmation parallèle avec Spark sur un cluster

- Manipuler des données avec Spark SQL

- Support Cassandra

- Spark GraphX

- Avoir une première approche du Machine Learning

Dates et lieux de formation

À DISTANCE

PARIS

Formulaire d'inscription

Vos informations

Informations société

Participant

Responsable

Le(s) participant(s)

Validation et envoi

Autres formations qui pourraient vous intéresser

Bases de données

BigdataPython : Jupyter Notebook

BigdataPython : Jupyter Notebook

Bases de données

BigdataDask : mise en oeuvre, programmation

BigdataDask : mise en oeuvre, programmation

Bases de données

BigdataLes fondamentaux de l'analyse statistique avec R

BigdataLes fondamentaux de l'analyse statistique avec R

Bases de données

BigdataMachine Learning avec scikit-learn

BigdataMachine Learning avec scikit-learn

Bases de données

BigdataAnalyse d'images avec TensorFlow et Keras

BigdataAnalyse d'images avec TensorFlow et Keras

Bases de données

BigdataSpark ML

BigdataSpark ML

Bigdata
Python : Jupyter Notebook

Bigdata
Python : Jupyter Notebook

Bigdata
Dask : mise en oeuvre, programmation

Bigdata
Dask : mise en oeuvre, programmation

Bigdata
Les fondamentaux de l'analyse statistique avec R

Bigdata
Les fondamentaux de l'analyse statistique avec R

Bigdata
Machine Learning avec scikit-learn

Bigdata
Machine Learning avec scikit-learn

Bigdata
Analyse d'images avec TensorFlow et Keras

Bigdata
Analyse d'images avec TensorFlow et Keras

Bigdata
Spark ML

Bigdata
Spark ML