Programme
Prise en main de PyTorch
- PyTorch et ses principes fondamentaux.
- Installer PyTorch et les composantes associées.
- Comparaison entre les librairies Numpy et PyTorch.
- PyTorch vs Tensorflow.
- Principes du calcul distribué.
Travaux pratiques
Installation de PyTorch. Manipulation de tenseurs et de matrices.
Sous-modules de PyTorch pour l'entraînement des réseaux de neurones
- Présentation des sous-modules de Pytorch pour l'entraînement des réseaux de neurones.
- Rappels sur la propagation forward.
- Rappels sur la rétropropagation des gradients.
- Chargement des données.
- Définir un réseau neuronal de convolution avec le package torch.nn, entraîner le modèle, le tester.
Travaux pratiques
Mise en place d'un réseau CNN pour la classification d'images.
Transfer learning et utilisation de réseaux pré-entrainés
- Principe du transfer learning.
- Exemples de mise en œuvre de l'apprentissage par transfert.
- Les étapes de la méthode de transfer learning dans les projets de machine learning.
- Utilisation de réseaux pré-entrainés.
Travaux pratiques
Reprise d'exercices précédents, pour améliorer les métriques avec la mise en place du transfer learning.
Les méta-architectures pour des projets complexes
- Présentation des méta-architectures.
- Problématique de détection d'objets.
- Problématique de segmentation d'images.
- L'architecture réseau UNet : les blocs codeur-décodeur et PyTorch.
Travaux pratiques
Création d'un modèle UNet simple pour la segmentation d'images. Comparaison avec le transfer learning pour UNet.
Le NLP avec PyTorch et spaCy
- Le traitement automatique du langage naturel (NLP, pour Natural Language Processing).
- L'intérêt de PyTorch et de spaCy.
- Principe des pipelines.
- Processing de texte .
- Entraînement de réseaux récurrents / biLSTM.
- Utilisation de PyTorch et spaCy pour le NLP.
Travaux pratiques
Topic modelling sur des avis de films. Analyse des sentiments sur des tweets.
Transformers et mécanismes d'attention
- Les transformers pour le traitement automatique des langues.
- Détail des mécanismes d'attention.
- Le mécanisme d'attention appliqué à une séquence : auto-attention.
- Fonctionnement des transformers.
Travaux pratiques
Mise en place d'un modèle de traduction.