ERM-SPark U-PSud

Programme Scientifique

• Structure et principes de Spark/Hadoop
• La programmation fonctionnelle (lambda)
• la logique MAP-REDUCE
• Elements du langage Scala
• Les connecteurs Spark pour les différentes structures de données
  • Les données textuelles
  • Les bases de données SQL
  • Une base de données noSQL (MongoDB)
  • La structure généraliste : les dataframes
  • Sérialisation avec AVRO
• Les outils de pilotage Spark disponibles sur la plateforme Spark/OpenStack
  • Construction d’une application Spark
  • Monitoring du cluster Spark
  • Monitoring des ressources