Pédagogie
Un intervenant extérieur assurera les deux jours de formation, en intégrant du matériel en cohérence avec les thématiques scientifiques concernées par le projet ERM.
Le contenu pédagogique devra assurer un bon équilibre entre les présentations théoriques et les exercices.
Organisation des postes de travail
La salle 203 du LAL offre 20 postes (Mac) connectés au réseau, sur lesquels les participants pourront s'installer en binôme.
Un compte générique spark<nn> sera disponible sur chaque poste, sur lequel une clé SSH dédiée sera installée.
Cette clé SSH permettra l'accès SSH au cluster Spark sur le compte générique correspondant.
Le cluster Spark étant connect au réseau, il sera possible de transférer des documents entre le compte utilisé lors de des TD de l'école et vos espaces de choix.
Organisation matérielle, logistique
Les sessions se tiendront de 9h à 17h30 pour les deux jours (avec une pose repas de 12h30 à 14h)
La salle 203 se tient immédiatement derrière le bâtiment 206 qui lui-même est devant l'entrée principale du bâtiment 200 du LAL.
Organisation logicielle
- les comptes Spark-<nn> (nn = [01 .. 20]) sur la VM du cluster Spark (mot de passe spark-2017)
- Spark et les outils spark-submit et pyspark à travers le notebook Jupyter
- hdfs avec pour chaque compte un espace hdfs /user/Spark-nn
- le moniteur de ressources ganglia: http://vm-75222.lal.in2p3.fr/ganglia
- le moniteur Spark: http://134.158.75.162:20001
- l'environnement python3 à travers anaconda (avec le module pymongo)
- MongoDb avec l'URL du serveur: mongodb://134.158.75.222:27017 + l'interpréteur mongo
Les supports de cours et TD seront accessibles après l'école.
