Connaissances sur Python.
Objectifs pédagogiques
Programme détaillé
Présentation de Spark
Atelier : Installation de l’environnement de développement et manipulation Spark
Objectif opérationnel : Maîtriser l’installation de l’environnement pour Spark
Moyen d’évaluation : QCM
Resilient Distributed Datasets
Atelier : Effectuer des statistiques sur des données météorologiques
Objectif opérationnel : Comprendre les RDD sur Spark
Moyen d’évaluation : QCM
Dataframes
Atelier : Observer et optimiser l’exécution de l’analyse de texte
Objectif opérationnel : Optimiser les RDD avec les dataframes
Moyen d’évaluation : QCM
Application : Exécution et debug
Atelier : Observer et optimiser l’exécution de l’analyse de textes
Objectif opérationnel : Maîtriser d’exécution d’une application Spark
Moyen d’évaluation : QCM
Streaming
Atelier : Exploiter des données via sqoop en temps réel
Objectif opérationnel : Comprendre le traitement en temps réel des données avec Spark
Moyen d’évaluation : QCM
SparkML
Atelier : Prédire la race d’un chien présent dans une image
Objectif opérationnel : Appréhender les problématiques du machine learning avec SparkML
Moyen d’évaluation : QCM