Hadoop – Développer des applications pour le Big Data

Objectifs pédagogiques

• Comprendre les fondamentaux du Big Data
• Comprendre les problématiques liées au Big Data
• Identifier les outils Hadoop appropriés à chaque usage
• Maîtriser les principaux outils Hadoop et autres frameworks Big Data
• Mettre en place des traitements de Machine Learning et de visualisation

‍

Programme détaillé

‍

Présentation de l’écosystème Big Data

• Comprendre le Big Data
• Les différentes problématiques du Big Data
• Les cas d’usages du Big Data

Moyen d’évaluation : QCM

‍

Aperçu des technologies Big Data

• Historique des technologies Big Data
• Principaux frameworks
• Classification des outils selon leurs cas d’usage
• Le Big Data dans le cloud

‍Objectif opérationnel : Avoir une connaissance de l’ensembles de technologies Big Data

Moyen d’évaluation : QCM

‍

Le Framework Hadoop

• Introduction à Hadoop
• Les distributions Hadoop
• HDFS
• YARN
• MapReduce
• Autres : Hive, Flume, Sqoop, Oozie, etc.

Objectif opérationnel : Maîtriser les outils principaux Hadoop

Moyen d’évaluation : Travaux pratiques

‍

Analyse de données avec Spark

• Introduction à Spark
• Architecture générale
• Programme avec RDD
• Manipuler les données structurées avec Spark SQL
• Spark Streaming

Objectif opérationnel : Maîtriser l’analyse de données avec Spark

Moyen d’évaluation : Travaux pratiques

‍

Kafka

• Introduction à Kafka
• Architecture générale
• Écosystème Kafka
• Programme avec Kafka

Objectif opérationnel : Maîtriser  l’outil Kafka

Moyen d’évaluation : Travaux pratiques

‍

Machine Learning & Visualisation

• Spark ML
• Data Viz

Objectif opérationnel : Mettre en place un traitement ML et faire de la DataViz

Moyen d’évaluation : Travaux pratiques

‍

‍