| Libellé du cours : | Machine learning 3: Deep learning |
|---|---|
| Département d'enseignement : | EEA / Electronique Electrotechnique Automatique |
| Responsable d'enseignement : | Monsieur PIERRE-ANTOINE THOUVENIN / Monsieur PIERRE CHAINAIS |
| Langue d'enseignement : | |
| Ects potentiels : | 0 |
| Grille des résultats : | |
| Code et libellé (hp) : | MR_DS_S2_ML3 - Machine learning 3: Deep learn |
Equipe pédagogique
Enseignants : Monsieur PIERRE-ANTOINE THOUVENIN / Monsieur PIERRE CHAINAIS
Intervenants extérieurs (entreprise, recherche, enseignement secondaire) : divers enseignants vacataires
Résumé
● reminder (ML1) + some complements: introduction to formal neural networks, the perceptron, training a perceptron, multilayer perceptron, full presentation of the backpropagation of the gradient of the error (incl. tricks to make it work in practice) ● elements of the formal analysis of neural networks (incl. MLP and their approximation ability) ● limitations of the classical MLP + backprop approach (vanishing or exploding gradient, etc.) ● the renewal of neural networks: deep learning and convolutional networks (conv / pool layers) ● deep net as a representation learner (auto-encoders, restricted Boltzmann machines) ● efficient deep net training (batch normalization, dropout, regularization etc.) ● recurrent neural networks and long-short time memories ● generative adversarial networks.
Objectifs pédagogiques
After successfully taking this course, a student should: ● know and understand the main concepts related to neural networks ● know the main types of neural networks (feedforward, convolutional, recurrent) and neurons ● know the main algorithms to train a neural network in practice ● understand the design of a deep neural network ● know how to use a neural network in practice to solve a particular supervised learning problem ● understand the limits of neural networks ● know theoretical properties of deep nets
Objectifs de développement durable
Modalités de contrôle de connaissance
Contrôle Continu
Commentaires: Labs, grading scale: (min) 0 – 20 (max)
Exam, grading scale: (min) 0 – 20 (max)
Ressources en ligne
Hastie & Tibshirani, The Elements of Statistical Learning, Springer 2009. Goodfellow, Bengio, Courville, The Deep Learning book, MIT Press, 2016.
Pédagogie
24 hours, 6 lectures 6 exercises / labs
Séquencement / modalités d'apprentissage
| Nombre d'heures en CM (Cours Magistraux) : | 12 |
|---|---|
| Nombre d'heures en TD (Travaux Dirigés) : | 12 |
| Nombre d'heures en TP (Travaux Pratiques) : | 0 |
| Nombre d'heures en Séminaire : | 0 |
| Nombre d'heures en Demi-séminaire : | 0 |
| Nombre d'heures élèves en TEA (Travail En Autonomie) : | 0 |
| Nombre d'heures élèves en TNE (Travail Non Encadré) : | 0 |
| Nombre d'heures en CB (Contrôle Bloqué) : | 0 |
| Nombre d'heures élèves en PER (Travail PERsonnel) : | 0 |
| Nombre d'heures en Heures Projets : | 0 |
Pré-requis
ML1. ML2. Python & tools for research. Bases of optimization.