M2 Mathématiques et Apprentissage Statistique

Cette UE est consacrée au développement de la théorie des processus
stochastiques. Dans un premier temps, l'accent est mis sur les martingales, le processus de Bienaymé-Galton-Watson, les marches aléatoires et le mouvement brownien. Ensuite,
l’étude se poursuit avec des processus dont les trajectoires ne sont plus nécessairement continues, comme les processus de Lévy. Les propriétés théoriques de ces processus sont analysées, et leurs nombreuses applications
sont illustrées dans divers domaines, allant de la finance et l'actuariat aux neurosciences, ainsi qu’à l'approximation des algorithmes de descente de gradient stochastique. Le contenu de l’UE est susceptible de changer chaque année.

Cette UE est une introduction aux méthodes de Monte-Carlo. Le premier chapitre porte sur la génération de variables aléatoires avec en particulier les méthodes d’inversion et de rejet. Le deuxième chapitre est consacré au calcul approchée d’une intégrale par la méthode de Monte-Carlo, dont des méthodes de réduction de la variance. Le troisième chapitre porte sur les méthodes de Monte-Carlo par Chaîne de Markov classiques : algorithme de Metropolis-Hastings et échantillonneur de Gibbs. Application au modèle de mélange. Les différents algorithmes sont mis en œuvre sur des exemples à l’aide du logiciel R.

Cette UE est divisée en deux parties. La première, commune aux deux masters M2 ISADS et M2 Math&AS, est une introduction à la statistique bayésienne paramétrique. Nous y étudierons le modèle bayésien paramétrique à travers plusieurs concepts fondamentaux : calcul d’une loi a posteriori, prédicteur et intervalles de prédiction, estimateur de Bayes, ainsi que la distinction entre intervalles de confiance et intervalles de crédibilité. La seconde partie est spécifiquement destinée aux étudiants du M2 Math&AS et vise à les faire travailler sur divers aspects de la statistique bayésienne non paramétrique à travers plusieurs projets. Ces projets, dont les thèmes peuvent varier d’une année à l’autre, permettent d’explorer des sujets tels que la quantification de l’incertitude, les vitesses de contraction de la loi a posteriori en statistique bayésienne non paramétrique, les lois a priori gaussiennes et leurs applications, le processus de Dirichlet et ses mélanges, ainsi que l’adaptation bayésienne.

Le module est une introduction à la statistique non paramétrique. Il est partiellement mutualisé et comprend une première partie commune aux deux masters M2 ISADS et Math&AS, ainsi qu'une partie d'approfondissement théorique destinée aux étudiants de M2 Math&AS. Dans la première partie, les bases de la statistique non paramétrique seront introduites. Les sujets traités incluent : 

* la construction des estimateurs à noyau et des estimateurs par projection de la fonction de densité, 

* les modèles de régression, 

* les estimateurs dans les problèmes inverses, * les régions de confiance non paramétriques, 

* les tests non paramétriques. 

Cette partie théorique sera enrichie par des séances de travaux dirigés et des mises en œuvre des méthodes sur des données réelles, permettant ainsi d'acquérir une expérience pratique. 

La deuxième partie, destinée aux étudiants de M2 Math&AS, se concentre sur un approfondissement théorique des méthodes. Elle traite notamment des estimateurs adaptatifs et des bornes inférieures pour démontrer l'optimalité au sens minimax des estimateurs vus en cours dans des modèles à densité.

Ces interventions visent à présenter les différents aspects du métier de data scientist et à mettre les étudiants en contact avec des entreprises ou des laboratoires de recherche, susceptibles de proposer des opportunités de stage. 

Cette UE est mutualisée avec le M2 Mathématiques et Apprentissage Statistique.

Le but est d'effectuer des prévisions à partir d'une série chronologique, les différentes étapes
à effectuer étant : modélisation par un processus, estimation du modèle, validation et prévisions.
Programme :

- Décomposition d'une série chronologique : tendance, saisonnalité et bruit. Estimation des différentes composantes à l'aide de la méthode de moyenne mobile.

- Méthodes de lissage exponentiel.

- Etude du bruit : processus stationnaires, processus ARMA. Savoir les identifier.

- Processus ARIMA et SARIMA.

- Mise en pratique sur des exemples avec le logiciel R

Cette UE vise à offrir une vue d'ensemble complète sur le deep learning, en partant des éléments fondamentaux (y compris les bases mathématiques des différentes composantes) et en allant jusqu’à l'implémentation des algorithmes à l'origine des révolutions technologiques de ces dernières années (intelligence artificielle générative, grands modèles de langage, traitement des images). Plus précisément, les sujets abordés s'appuieront sur la bibliothèque PyTorch et incluront : 

* Les bases des réseaux de neurones : couches linéaires, fonctions d'activation, régularisation, optimisation par descente de gradient. 

* Le traitement des grandes quantités de données et l'optimisation avec un accélérateur graphique (GPU). 

* Le traitement des images : réseaux convolutifs, normalisation, connexions résiduelles. 

* Le traitement du langage : tokenisation, couches récurrentes, mécanisme d!attention, modèle Transformer. L'UE se termine par un projet permettant d!appliquer les notions acquises dans un cadre réaliste et stimulant. Par exemple, il pourra s'agir de l'implémentation d'un modèle de langage similaire à GPT ou BERT, d'un modèle de génération d!images inspiré de DALL-E ou Stable Diffusion, d'un système de question-réponse sur des documents fournis, d'un outil de reconnaissance d'images médicales, ou encore d'un agent d'apprentissage par renforcement capable de jouer à des jeux vidéo.

Dans cette UE, les étudiants travailleront en binômes ou trinômes sur des défis proposés par un intervenant extérieur, un data scientist expérimenté issu du monde de l'entreprise. Ces challenges, variés dans leur nature, mobiliseront différentes compétences en machine learning, intelligence artificielle et analyse de données, en fonction du problème étudié. L'objectif est double : permettre aux étudiants de mettre en pratique les concepts vus dans leurs autres cours et renforcer leurs compétences en programmation et en analyse de données à travers des problématiques concrètes, proches des enjeux rencontrés en entreprise.

Ce programme introduit les bases de l’intelligence artificielle, les concepts fondamentaux de l’apprentissage non supervisé et les techniques de clustering. Il couvre également la réduction de dimension et les modèles de mélanges de lois. Plus précisément, le cours développe les thèmes suivants. Introduction à l'intelligence artificielle et à l’apprentissage : définition et principes de l’intelligence artificielle; concepts d’apprentissage supervisé et non supervisé; applications et enjeux actuels de l’IA. Clustering et algorithmes non supervisés : présentation des méthodes de clustering; algorithme K-means et ses extensions (K-medoids, K-means++…); classification hiérarchique : CAH et CDH. Modèles de mélanges de lois : estimation par l’algorithme EM; applications en segmentation et détection de groupes latents.

Cette UE est partiellement mutualisée avec le M2 ISADS. Les étudiants du M2 Math&AS bénéficient, en plus, d’heures d’enseignement dédiées à des approfondissements théoriques sur des sujets variés.

Cette UE couvre les techniques avancées de régression, des modèles linéaires classiques aux approches pénalisées et non linéaires, avec un accent particulier sur les méthodes statistiques et l’évaluation des modèles. Plus précisément, le cours développe les thèmes suivants. Régression linéaire multiple et comparaison de modèles : rappel sur la régression linéaire multiple; tests entre modèles emboîtés (test de Fisher, test de vraisemblance) Régression linéaire et hétéroscédasticité : impact de l'hétéroscédasticité sur l’estimation des coefficients; méthodes de correction et estimation robuste; introduction aux modèles linéaires généralisés (GLM). Régularisation et régressions pénalisées : principe de la pénalisation en régression; régression LASSO : sélection de variables et parcimonie; régression ridge : contrôle du sur-ajustement; régression ElasticNet : compromis entre LASSO et ridge. Régression PLS et méthodes en grande dimension. Régressions non linéaires et bases de splines.

Cette UE est partiellement mutualisée avec le M2 ISADS. Les étudiants du M2 Math&AS bénéficient, en plus, d’heures d’enseignement dédiées à des approfondissements théoriques sur des sujets variés.