Distributed and Parallel Computing (M2 DiPaC)

Les étudiants du M2 DiPaC acquerront des compétences en :

• Modèles de programmation parallèle et ingénierie de la performance sur CPU/GPU et clusters/supercalculateurs distribués.
• Conception et analyse d’algorithmes distribués avec garanties théoriques.
• Compétences en analyse de données à l’échelle et en IA : entraînement , inférence, analyse de données distribuée à grande échelle.
• Simulation hybride HPC+quantique via des techniques exactes et d’approximation.
• Planification et équilibrage de charge des travaux parallèles sur clusters et clouds.
• Profilage de code, traçage, diagnostic des goulots d’étranglement, techniques d’optimisation des performances.
• Ingénierie logicielle pour le HPC : C++ moderne, tests, CI, reproductibilité.
• Gestion de versions avec Git et documentation rigoureuse.
• Communication technique et cadrage de projet dans les contextes recherche et industrie.
• Pratiques de calcul responsables, fiables et durables.

Les systèmes informatiques évoluent vers une plus grande efficacité et des fonctionnalités plus riches au croisement de trois grands domaines scientifiques interconnectés :

• Les systèmes distribués assurent la connectivité et un fonctionnement fiable à l’échelle d’Internet, des clouds, des grappes et des capteurs, en s’attaquant à des problèmes difficiles de synchronisation, de sécurité, de concurrence et de robustesse.
• Le calcul parallèle à haute performance (HPC) traite des charges intensives en science et en IA en exploitant des supercalculateurs avec une ingénierie de performance rigoureuse.
• Le calcul quantique fournit des algorithmes et du matériel exploitant le parallélisme quantique pour atteindre des gains inaccessibles aux paradigmes classiques.

En s’appuyant sur les fondations posées par le M1 DiPaQ en HPC, systèmes distribués et calcul quantique, le M2 DiPaC se spécialise dans des sujets avancés en HPC et en algorithmes distribués pour les systèmes à grande échelle. Les étudiants apprennent à concevoir des solutions rapides, évolutives et robustes pour des applications en IA, en analyse de données massives, en simulations scientifiques et en l’informatique quantique. Les étudiants peuvent se spécialiser soit en high performance data analysis (HPDA), soit en hybrid HPC/quantum computing (HQI) via des cours au choix.

Objectifs de connaissances :

• Modèles de programmation parallèle et ingénierie de la performance sur supercalculateurs et accélérateurs modernes.
• Algorithmes et systèmes distribués à grande échelle : réplication, consensus, cohérence, agents mobiles et algorithmes inspirés de la nature, avec garanties de robustesse et de performance.
• Algorithmes et applications de big data, d'apprentissage automatique et d'IA avec des défis de calcul massifs.
• Algorithmes et simulation quantiques utilisant une approache classique/HPC et quantique (HQI)

Objectifs de compétences :

• Concevoir des algorithmes et logiciels parallèles et distribués de haute qualité atteignant des objectifs de latence, de débit et de performance sur les architectures HPC visées.
• Développer et analyser des algorithmes évolutifs et robustes avec garanties de passage à l’échelle, de consensus, de terminaison et de tolérance aux pannes.
• Optimiser le code HPC sur toute la pile : complexité, localité mémoire, vectorisation, usage des accélérateurs, communications, entrée/sortie et réseaux.

Ressources et mise en pratique :

• Accès aux machines universitaires et aux supercalculateurs partenaires pour TP, projets, développement et optimisation de code.
• Utilisation de chaînes d’outils et bibliothèques open source largement adoptées par la communauté HPC.
• Acquisition de pratiques modernes d’ingénierie logicielle HPC: C++ avancé, EDI, gestion de versions (git), documentation et intégration continue.