M1 Mathématiques et Apprentissage Statistique

Fonctions à plusieurs variables, notions de calcul différentiel.

1. Introduction et rappels d’analyse

• exemple de problème d’optimisation de formes en mécanique
• formules de Taylor
• rappel des conditions d’optimalité avec et sans contraintes

1. Méthodes de descente sans contrainte (descente avec recherche linéaire, Newton et
   quasi Newton)
2. Méthodes de descente avec contraintes (gradient projeté, pénalisation externe, algorithme d’Uzawa)
3. Méthodes de nature stochastique

• Introduction. Exemples.
• Convexité : ensembles convexes, fonctions convexes, propriétés.
• Optimisation sans contraintes : conditions d’optimalité d’ordres 1 et 2.
• Optimisation avec contraintes : Théorème de Karush-Kuhn-Tucker, multiplicateurs de
  Lagrange. Cas d’un programme convexe.
• Programmation linéaire. Méthode du simplexe.
• Calcul de variations
• Exemples
• Conditions d’optimalité avec extrémités fixes. Equations d’Euler-Lagrange.
• Cas d’extrémités libres. Conditions de transversalité.
• Méthodes numériques : méthodes de descente (de gradient, de quasi-newton, etc.),
  méthodes stochastiques (récuit simulé, algorithmes génétiques, etc.).

De très nombreux problèmes en industrie, en physique et en économie consistent en la minimisation (ou la maximisation) d’une fonction objective. Ce cours vise à présenter un grand nombre de méthodes numériques qui ont été développées pour résoudre de tels problèmes. Ces méthodes peuvent être locales ou globales, déterministes ou stochastiques. De nombreux exemples seront implémentés sur machine afin d’illustrer l’emploi en pratique de ces méthodes.

- Ph. G. Ciarlet, Introduction à l’analyse numérique matricielle et Optimisation, Masson,
1988.
- J. F. Bonnans, Optimisation continue : cours et exercices, Dunod, 2006.
- H. B. Hiriart-Urruty and C. Lemaréchal, Convex analysis and minimization algorithms, Vol. I, II, Springer-Verlag, 1993.

Ce cours introduit les fondements théoriques de la statistique avancée et de l’apprentissage automatique. Il fournit les outils nécessaires pour comprendre et analyser les méthodes d’inférence et de modélisation utilisées en science des données.

Le contenu couvre l’inférence pour la fonction de répartition, les méthodes d’estimation dans les modèles à densité (Z et M-estimateurs), ainsi que la notion d’information statistique et la théorie asymptotique. Les tests d’hypothèses sont abordés sous l’angle de leur construction, de leur interprétation et de leur utilisation dans différents contextes d’inférence.

Le cours traite également des inégalités de concentration et de la quantification de l’incertitude. Enfin, il présente la théorie de l’apprentissage statistique, notamment la formulation des problèmes d’apprentissage, la minimisation du risque empirique, les inégalités de concentration associées et la théorie des processus empiriques.

Le module est consacré principalement à l’étude des chaînes de Markov à espace d’états discret, avec des applications aux marches aléatoires et à des processus à valeurs dans un espace d’états discret. Nous approfondirons les notions d’espérance conditionnelle et de loi conditionnelle.

Cette UE a pour objectif d’initier les étudiants aux méthodes fondamentales du traitement des données et du machine learning, en les aidant à identifier les algorithmes les plus adaptés aux différentes tâches d’apprentissage, sur la base de leurs propriétés théoriques et de résultats expérimentaux. Le cours comprend : 

* L’analyse des données et la synthèse de l’information contenue dans un jeu de données. 

* L’étude des méthodes d’analyse factorielle (ACP, AFD et ACM). 

Ce programme explore également les principales méthodes d’apprentissage supervisé en intelligence artificielle, en mettant l’accent sur les algorithmes classiques de classification et une introduction aux réseaux de neurones. Plus précisément, nous aborderons les sujets suivants. 

Introduction à l’Apprentissage Supervisé : définition et principe de l’apprentissage supervisé; différences entre classification et régression; évaluation des modèles : métriques de performance. 

Régression logistique : modélisation de la probabilité d’appartenance à une classe; fonction sigmoïde et interprétation des coefficients; application à la classification binaire et multiclasses. 

Machines à Vecteurs de Support (SVM) : principe des hyperplans séparateurs; utilisation des noyaux pour la classification non linéaire; réglage des paramètres (C, gamma) et impact sur la performance. 

Introduction aux Réseaux de Neurones : architecture d’un réseau de neurones artificiel; fonction d’activation et propagation du gradient. 

Enfin, une partie de cette UE est spécifiquement dédiée aux étudiants du M1 Math&AS qui bénéficient, en plus, d’heures d’enseignement dédiées à des approfondissements théoriques sur des sujets variés.

Ces interventions visent à présenter les différents aspects du métier de data scientist et à mettre les étudiants en contact avec des entreprises ou des laboratoires de recherche, susceptibles de proposer des opportunités de stage. 

Cette UE est mutualisée avec le M2 Mathématiques et Apprentissage Statistique.