M2 Mathematics of Randomness

Voir M2 propriétaire.

Voir M2 propriétaire.

Voir M2 propriétaire (Data Sciences).

Voir M2 propriétaire.

Voir M2 propriétaire.

La première partie du cours présentera les fondements de la théorie statistique de l’apprentissage supervisé, en classification et en régression. Nous établirons des bornes sur l’erreur de prédiction de plusieurs méthodes d’apprentissage parmi les plus classiques : moyennage local (partitions, k plus proches voisins, noyaux) et minimisation du risque empirique. Ces résultats montreront en particulier que certaines de ces méthodes sont « universellement consistantes ». En revanche, nous verrons qu’un apprentissage totalement agnostique n’est possible que dans certaines limites (« on n’a rien sans rien »), ce qui se formalise mathématiquement par plusieurs théorèmes aux énoncés plutôt contre-intuitifs.
La deuxième partie du cours se focalisera sur les méthodes de rééchantillonnage (bootstrap, sous-échantillonnage, validation croisée, etc.) et à leur application en apprentissage. Nous étudierons en particulier leurs propriétés pour l’estimation de l’erreur de prédiction d’une méthode d’apprentissage, et pour la sélection parmi une famille de méthodes d’apprentissage.

Septembre - Octobre - Novembre - Décembre.

ORSAY

Randal Douc (Télécom).

L’objet de ce cours est d’introduire les outils d’analyse de chaînes de Markov sur des espaces généraux. Nous introduirons tout d’abord le formalisme de base (noyau, opérations sur les noyaux, opérateurs) puis étendrons au cas continu des résultats élémentaires (Chapman-Kolmogorov, Markov fort, problèmes de Dirichlet et Poisson). Nous étudierons ensuite l’ergodicité des chaînes et le contrôle de convergence. Nous présenterons tout d’abord l’ergodicité uniforme en variation totale (sous la condition de Doeblin uniforme), que nous étendrons à l’ergodicité non uniforme sous les conditions de Foster-Lyapounov (existence d’un petit ensemble et condition de dérive). Nous illustrerons ces théories avec de nombreux exemples, permettant de comprendre la richesse de cette méthode, mais aussi ses limites.
Nous spécialiserons ensuite ces résultats à des espaces topologiques, en introduisant tout d’abord des résultats généraux sur les chaînes Felleriennes et fortement Felleriennes puis en présentant des méthodes permettant d’obtenir des résultats de convergence plus quantitifs (convergence en distance de Wasserstein, étude des systèmes itératifs). Nous présenterons succinctement les extensions non géométriques.

Références Bibliographiques : Topics on Markov Chains, R. Douc, E. Moulines, P. Priouret, P. Soulier (Springer, à paraître) Markov Chains and Stochastic stability, S. Meyn et R. Tweedie, 2009, Cambridge University Press Convergence of Markov Processes (notes de cours), M. Hairer.

Septembre - Octobre - Novembre - Décembre.

ORSAY

L’expression des pénalités tout autant que l’analyse des performances de ces procédures pénalisées en terme de risque de manière essentielle d’inégalités dites de concentration dont le prototype est l’inégalité de Talagrand pour les processus empiriques. Ces nouveaux outils de calcul des probabilités seront également étudiés pour eux-mêmes. Nous développerons en particulier la méthode entropique initiée par Michel Ledoux il y a une dizaine d’années. Cette méthode permet en effet d’accéder à des résultats fins avec une économie de moyens remarquable.

Références Bibliographiques : Ledoux, Talagrand, Probability in Banach spaces Dudley, Central Limit Theorems Ledoux, Cours de Saint Flour 1994 Pascal Massart, Cours de Saint Flour 2003.

Septembre - Octobre - Novembre.

ORSAY

La sélection de modèles est un sujet classique en statistique. L’idée de choisir un modèle à partir d’un critère de type log-vraisemblance pénalisée remonte aux travaux séminaux de Mallows et Akaike au début des années 70. On peut trouver dans la littérature de nombreuses variantes de ces critères ainsi que des résultats asymptotiques précisant les propriétés de ces critères lorsque la liste de modèles est considérée comme fixée et le nombre d’observations tend vers l’inifini. Un des deux buts poursuivis dans ce cours est de donner un aperçu de la théorie non asymptotique pour la sélection de modèles qui s’est construite au cours de ces dix dernières années. Dans différents contextes d’estimation fonctionnelle, il est possible de construire des critères de type log-vraisemblance pénalisée où la pénalité dépend non seulement du nombre de paramètres définissant des modèles comme dans les critères classiques, mais aussi de la « complexité » de la liste de modèles. Dans cette approche, les dimensions des modèles ainsi que la liste de modèles elle-même sont autorisés à dépendre du nombre d’observations. L’expression des pénalités tout autant que l’analyse des performances de ces procédures pénalisées en terme de risque de manière essentielle d’inégalités dites de concentration dont le prototype est l’inégalité de Talagrand pour les processus empiriques.

Références Bibliographiques : Ledoux, Talagrand, Probability in Banach spaces Dudley, Central Limit Theorems Ledoux, Cours de Saint Flour 1994 Pascal Massart, Cours de Saint Flour 2003.

Novembre - Décembre - Janvier.

ORSAY

Voir M2 propriétaire.

Voir M2 propriétaire.

Voir M2 propriétaire.

Voir M2 propriétaire.

Voir M2 propriétaire.

Voir M2 propriétaire.

Voir M2 propriétaire.

Voir M2 propriétaire.

Voir M2 propriétaire.

Voir M2 propriétaire.

Voici une liste des thèmes que nous aborderons :
Théorie du potentiel, réseaux électriques sur graphes généraux
Critère de récurrence/transience et applications
Marches aléatoires sur $\mathbbZ$, décomposition de Wiener-Hopf, lemme cyclique
Arbres aléatoires de Galton—Watson
Marches aléatoires sur $\mathbbZ^d$, théorème local limite, intersection.
Graphes aléatoires : transition de phase dans le modèle d’Erdos-Renyi.

Polycopié disponible sur la page web de N. Curien.

Septembre - Octobre - Novembre - Décembre - Janvier.

ORSAY

Voir M2 propriétaire.

Voir M2 propriétaire Data Sciences.

Voir M2 propriétaire.

Voir M2 propriétaire Data Sciences.

Voir M2 propriétaire.

Voir M2 propriétaire Data Sciences.

Voir M2 propriétaire Data Sciences.

Voir M2 propriétaire Data Sciences.

Voir M2 propriétaire Data Sciences.

Maxime Février (Orsay).

Le cours sera consacrée à la théorie du calcul stochastique. On présentera d’abord le mouvement brownien et certaines de ses propriétés les plus importantes. On discutera ensuite les martingales continues, processus aléatoires qui généralisent le mouvement brownien, et on introduira les semi-martingales continues, qui peuvent s’écrire comme somme d’une martingale continue et d’un processus à variation finie. On développera dans ce cadre la théorie du calcul stochastique d’Itô, et on donnera en particulier une forme générale de la formule d’Itô, puis on développera plusieurs applications, dont le célèbre théorème de Girsanov ou le théorème de Dubins-Schwarz qui affirme que toute martingale continue peut s’écrire comme un mouvement brownien changé de temps. On terminera en utilisant le calcul stochastique pour traiter l’exemple fondamental des processus de diffusion, qui sont obtenus comme solutions d’équations différentielles stochastiques dirigées par un mouvement brownien multidimensionnel.

Références bibliographiques : I. Karatzas, S. Shreve : Brownian motion and stochastic calculus. Springer J.F. Le Gall : Brownian motion, martingales and stochastic calculus. Springer 2016 D. Revuz, M. Yor : Continuous martingales and Brownian motion. Springer L.C.G. Rogers, D. Williams : Diffusions, Markov processes and martingales, vol. II. Wiley.

Septembre - Octobre - Novembre - Décembre - Janvier.

ORSAY

Voir M2 propriétaire Data Sciences.

Christophe Giraud, Tristan Mary-Huart.

Objectifs principaux :
comprendre les problèmes posés par la grande dimension ;
fournir des bases conceptuelles et méthodologiques solides, indispensables pour développer des analyses statistiques pertinentes et performantes ;
acquérir des techniques mathématiques fondamentales en vue d’une thèse.
La principale difficulté du statisticien face aux données du XXIe siècle est de vaincre le fléau de la grande dimension. Ce fléau oppose aux statisticiens deux difficultés : d’une part il rend les méthodes statistiques classiques totalement inopérantes par manque de précision, d’autre part il oblige à développer des approches gardant sous contrôle la complexité algorithmique des procédures d’estimation.
Nous verrons comment vaincre ce fléau dans un contexte général, puis comment rendre opérationnels ces concepts, avec une attention sur les frontières du possible. Les différentes situations sont illustrées à l’aide d’exemples issus des sciences du vivant (cours commun avec MathSV et Proba/Stat).
website : http://www.cmap.polytechnique.fr/ giraud/MSV/stats.html.

Septembre - Octobre - Novembre - Décembre.

ORSAY

Volume Horaire : 36h présentielle + projet long

Modalités de contrôle : Soutenance orale et rapport écrit. Il y a une seule session d’évaluation de projet.

Page web du cours : https://www.math.u-psud.fr/ goude/Materials/ProjetMLF/intro.html
L’objectif du projet est d’acquérir une expérience de modélisation statistique, de la préparation des données à la réponse au problème posé. Il s’agit de comparer différents modèles et méthodes statistiques pour analyser un jeu de données associé à une problématique de prévision. Nous travaillerons sur des données liées à l’énergie (consommation électrique, production PV et éolien…). Nous étudierons différentes méthodes de régression non-linéaire issues de récents développements en statistiques et machine learning et ayant faits leurs preuves dans ce contexte : generalized additive model, random forest, gradient boosting machine, curve linear regression, agrégation d’experts.

L’objectif du projet est d’aboutir à une modélisation performante des données (réalisant une faible erreur de prévision et pouvant raisonnablement être mise en œuvre). Le cours propose une démarche fréquente dans l’industrie ou lors de la conduite d’un projet de recherche en statistique appliquée. Plusieurs étapes seront menées : data mining exploratoire (analyse descriptive, visualisation, recherche bibliographique sur les données et le phénomène à modéliser), la modélisation proprement dite (choix de modèle, prétraitements/transformation des données, construction d’un code, validation) puis enfin l’évaluation des performances et la restitution des résultats (présentation et rédaction d’un rapport).

Septembre - Octobre - Novembre - Décembre - Janvier.

ORSAY - GIF-SUR-YVETTE

Voir M2 propriétaire Data Sciences.

La première partie du cours est consacrée à l’étude de la notion de convergence en loi, dans un cadre assez général où les objets aléatoires considérés prennent leurs valeurs dans un espace métrique complet (éventuellement infini-dimensionnel). On démontre en particulier le théorème de Prohorov qui caractérise les familles de mesures de probabilité relativement compactes pour la topologie en loi. Cette théorie est ensuite appliquée pour établir le théorème de Donsker, selon lequel une marche aléatoire à pas indépendants et de même loi converge après renormalisation vers un mouvement brownien.
Dans la seconde partie du cours, on étudie les mesures aléatoires de Poisson, puis les processus de Lévy : ce sont des processus aléatoires généralisant le mouvement brownien et admettant possiblement des sauts, et ils sont classifiés par le théorème de Lévy-Khintchine. La première partie du cours permet d’en donner une construction à la Donsker.

Références : un polycopié disponible sur la page web de P.-L. Méliot. pour la topologie de la convergence en loi et le théorème de Donsker : P. Billingsley, Convergence of probability measures. pour les mesures aléatoires de Poisson : J. F. C. Kingman, Poisson Processes. pour les processus de Lévy : K.-I. Sato, Lévy Processes and Infinitely Divisible Distributions.

Septembre - Octobre - Novembre - Décembre.

ORSAY

Sara Brofferio, Mélanie Guenais.

Voir M2 AAG (mutualisation).

Voir M2 AAG (mutualisation).

Voir M2 AAG (mutualisation).

Voir M2 AAG (mutualisation).

Septembre - Octobre - Novembre - Décembre.

ORSAY

+ étudiants en thèse et Post-Doc de l'équipe.

Un séminaire hebdomadaire pour présenter les champs de rechercher actuels en probabilités et statistiques.

Septembre - Octobre - Novembre - Décembre - Janvier.

ORSAY

Quentin Mérigot (UPSay).

L’estimation des propriétés de nature topologique et géométrique de données souvent représentées par des ensembles de points dans des espaces euclidiens de grande dimension (ou plus généralement des variétés riemanniennes ou des espaces métriques) connait un développement important depuis quelques années.
L’analyse topologique des données est motivée par l’observation que généralement les données, qui ne sont pas distribuées uniformément dans l’espace ambiant mais se concentrent autour de structures géométriques de plus petite dimension qu’il est important de comprendre.
L’objectif de ce cours est de donner une introduction à ce sujet en pleine expansion.
Les notions nécessaires de topologie et de géométrie seront introduite ou rappelée au fil du cours.
Plan du cours :
1. Introduction et rappels
2. Fonctions distance et reconstruction d’ensembles compacts.
3. Application à l’estimation de l’homologie de de sous-variétés à partir d’échantillon i.i.d. Aspects algorithmiques et statistiques.
4. Homologie persistente : définition, stabilité et applications (clustering, signatures topologiques,...).
5. Propriétés statistiques de l’homologie persistente.
6. Inférence géométrique pour les mesures de probabilité.

Février - Mars - Avril.

ORSAY

1.
Multi-armed bandit problems
We consider finitely many arms, each associated with an unknown distribution, or even a continuum of arms, associated with a function f : [0,1] -> R and some noise structure. When pulling an arm we get a reward drawn at random according to the associated distribution. The aim is to maximize the obtained rewards but to do so a tradeoff between exploring the arms (to have an idea of the best arms) and exploiting the obtained information (to pull those best arms) must be performed. On the optimization side, this problem has strong ties with the identification of the maximum of f.
2.
Aggregation of expert advice
At each round, some base forecasters (experts) provide forecasts for a sequential and quantitative phenomenon (height of an ozone peak, exchange rate, electricity consumption). Instead of selecting one such forecast we will combine and aggregate their values, based on past performance. The aim is to obtain meta-forecasts that are almost as good as the best global convex or linear combination. The latter can only be determined in hindsight while we are subject to a constraint of sequential prediction. This is where the optimization bottleneck lies : performing online almost as well as we would have done in hindsight.

Prerequisites :

Martingale theory Basic notions of statistics.

Septembre - Octobre - Novembre - Décembre.

ORSAY

Un grand nombre de domaines scientifiques tels que la biostatistique ou l’apprentissage emploie naturellement le paradigme bayésien (où l’on suppose que le paramètre à inférer est une variable aléatoire). En particulier, en autorisant une grande flexibilité sur la modélisation des paramètres, l’approche non-paramétrique de la statistique bayésienne a connu un essor considérable ces dernières années. L’objectif de ce cours est de proposer un large panorama des méthodes et des résultats théoriques spécifiques à la statistique bayésienne non-paramétrique.
La première partie du cours présentera les principes de l’estimation fonctionnelle propre à l’approche bayésienne. On s’attardera notamment sur la construction des distributions a priori les plus classiques fondées sur les processus gaussiens et de Dirichlet. Dans un second temps, on analysera le comportement asymptotique des distributions a posteriori (consistance et vitesse de convergence). Bien que l’estimation de densité constituera le fil rouge de ce cours, on proposera également quelques extensions dans le cadre de la grande dimension ou pour d’autres modèles statistiques moins classiques.

Des pré-requis sur l’approche bayésienne classique seront utiles mais pas indispensables (une remise à niveau est prévue lors du premier cours).

Février - Mars - Avril.

ORSAY

Contenu : A la différence du calcul stochastique d’Itô qui utilise la structure
temporelle des processus à travers la notion de martingale, le calcul
de Malliavin exploite les propriétés des processus gaussiens, à
l’instar du mouvement brownien, pour définir le cadre d’une analyse en
dimension infinie. L’objet principal en est le gradient de
Stroock-Malliavin et la divergence associée qui généralise l’intégrale
d’It\^o à des processus non adaptés. Ce cours est
une introduction à ces concepts ainsi qu’à leurs applications :
théorème de Girsanov généralisé, critère d’absolue continuité pour les solutions d’EDS, formule explicite d’Itô-Clark,
calcul anticipatif, délit d’initié, calcul des grecques, transport
optimal, etc.
Les éléments d’analyse fonctionnelle nécessaires (produits tensoriels
d’espace de Hilbert, opérateurs Hilbert-Schmidt et opérateurs à trace,
etc) seront introduits au fur et à mesure du cours.
La validation de cet enseignement se fait par analyse d’un article scientifique.
Rappels sur les processus gaussiens
Espace de Wiener abstrait, gradient.
Divergence
Processus d’Ornstein-Uhlenbeck
Formule d’Itô-Clark
Mouvement brownien fractionnaire
Processus de Poisson
Méthode de Stein-Malliavin.

Février - Mars - Avril.

ORSAY

Dans de nombreuses applications telles que l’assurance ou, plus généralement, la gestion des risques, on s’intéresse au comportement d’une variable « du côté de ses valeurs extrêmes ». L’inférence statistique est rendu possible si l’on admet que le comportement extrême peut être déduit d’une façon raisonnable à partir du comportement observé, qui lui n’est pas extrême. Nous aborderons les approches principales proposées pour répondre à ce problème de modélisation : comportement des maxima, des excès de seuil ou du processus ponctuel associé. Les aspects probabilistes de ces approches reposent sur les domaines d’attraction des lois max-stables et les mesures à variations régulières. Les cas univariés et multivariés seront abordés ainsi que des applications statistiques telles que le théorème central limite en variance infinie.

Février - Mars - Avril.

ORSAY - GIF-SUR-YVETTE

Responsable : Patrick Pamphile
Contenu :
Séance 1 Fiabilités des systèmes
Séance 2 Maîtrise statistiques des procédés
Séance 3 MSP TP
séance 4 Faibilité des système réparables
Séance 5 TP Réparable
Séance 6 Système markovien à espace d’états
Séance 7 Examen
Volume Horaire : 20h cours.

Février - Mars - Avril.

ORSAY

Voir M2 Data Sciences.

Ce cours traite de problèmes d’inférence génériques aux applications nombreuses (en biologie, traitement de la parole, moteurs de recommandation, étude de réseaux sociaux,…) posés dans le contexte de graphes. Il traitera notamment : la détection de communautés (identification de groupes de sommets semblables d’un graphe), l’alignement de graphes (mise en correspondance des sommets de plusieurs graphes), et la reconstruction d’arbres (identification de caractéristiques de « l’ancêtre » d’un arbre généalogique d’après les traits de ses descendants).
Des modèles probabilistes de graphes seront introduits, ainsi que l’analyse d’algorithmes efficaces pour des données échantillonnées selon ces modèles. On s’intéressera notamment à des algorithmes spectraux, dont la compréhension repose sur l’étude de spectres de matrices aléatoires associées aux graphes considérés. On abordera aussi des algorithmes basés sur la programmation semi-définie.

Février - Mars - Avril.

ORSAY

Voir M2 propriétaire Data Sciences.

Février - Mars - Avril.

ORSAY - BURES-SUR-YVETTE

Il s’agit de présenter divers modèles solubles en probabilités. L’objectif est de donner un panorama vivant (mais de loin non exhaustif !) de la recherche actuelle en probabilités sans aller dans les avancées les plus récentes de chaque modèle. Cela inclut les marches aléatoires en milieu aléatoire sur $\mathbbZ$ dont la vitesse asymptotique peut se calculer explicitement, l’asymptotique explicite de la longueur de la plus longue sous-suite croissante d’une permutation aléatoire, la formule de Hardy-Ramanujan sur l’asymptotique du nombre de partitions d’un entier, des calculs de formes limites de divers objets, la distribution limite de la mesure spectrale de matrices de Wigner... Chaque calcul peut être présenté en 3 ou 4 heures, et est le fruit d’un « miracle » de calcul, ou de la découverte d’une mesure invariante explicite dans un grand système markovien, de la correspondance avec un système de particules, de l’introduction d’un modèle statistique... qui aiguisent la curiosité et peuvent donner envie aux élèves d’approfondir l’un de ces sujets dans le cadre d’une thèse.

Février - Mars - Avril.

ORSAY

Voir M2 propriétaire MSV.

Voir M2 propriétaire Data Sciences.

Volume Horaire : 20h. Validation du cours (a) Prise de notes manuscrites en Latex pour chacune des seances (b) Lecture d’articles.

De nombreux problèmes d’estimation en apprentissage statistique sont formulés comme des problèmes d’optimisation. Ces formulations ont permis une separation entre l’analyse des performances de l’estimateur et le développement d’algorithmes de résolution du problème. Face aux grands volumes de données, une telle séparation n’est plus efficace et l’analyse doit mêler statistique et optimisation. Dans ce cours, seront présentés de manière unifiée les résultats statistiques classiques sur la M-estimation et l’optimisation convexe, en montrant les liens entre statistique et optimisation. Un accent sera mis sur l’analyse non-asymptotique de l’approximation stochastique.

Https://www.di.ens.fr/~fbach/orsay2017.html.

Février - Mars - Avril.

ORSAY

This course concerns the stochastic modeling of population dynamics. In the first part, we focus on monotype populations described by one-dimensional stochastic differential equations with jumps. We consider their scaling limits for large populations and study the long time behavior of the limiting processes. It is achieved, thanks to martingale properties, Poisson measure representations, and stochastic calculus. These tools and results will be used and extended to measure-valued processes in the second part. The latter is dedicated to structured populations, where individuals are characterized by a trait belonging to a continuum.

Février - Mars - Avril.

PALAISEAU

Voir M2 MSV.

Février - Mars - Avril.

ORSAY

Si on se place à l’échelle atomique, un gaz ne présente pas de structure cohérente, pourtant à l’échelle macroscopique, on le caractérise par quelques paramètres simples comme sa densité et sa pression qui peuvent évoluer au cours du temps. Mathématiquement le passage du microscopique au macroscopique se formalise en assimilant les atomes à un ensemble de variables aléatoires en interaction et en étudiant leur comportement limite qui est alors décrit par une EDP : la limite hydrodynamique. Ce cours est une introduction à différents systèmes de particules en interaction et à leurs dynamiques quand le nombre de particules tend vers l’infini.

Février - Mars - Avril.

PALAISEAU

Dans une première partie nous utiliserons le calcul stochastique pour donner une construction simple des temps locaux des semimartingales continues. Nous étudierons ensuite les temps locaux du mouvement brownien, et notamment les liens entre le processus des temps locaux browniens et certains processus de branchement. Dans un second temps, nous développerons la théorie des excursions, qui est un outil puissant d’étude du mouvement brownien.
« Local times and excursion theory »
In a first part, we will use stochastic calculus to give a simple approach to local times of continuous semimartingales. We will then study local times of Brownian motion, and in particular the connections between Brownian local times and certain branching processes. In a second part, we will present excursion theory, which is a powerful tool for studying linear Brownian motion.

Février - Mars - Avril.

ORSAY

Mémoire/Stage de M2.

Avril - Mai - Juin - Juillet.

ORSAY