Ce que vous allez apprendre
Grâce à sa syntaxe simple et intuitive, PyTorch, bibliothèque logicielle Python, est considérée comme plus aisée à apprendre que les autres frameworks deep learning. Sa large communauté permet d’obtenir une documentation utile à tous les développeurs, même débutants en apprentissage profond et en calcul tensoriel.
Objectifs
- Savoir manipuler des images et du texte avec PyTorch
- Mettre en place un entraînement de réseaux de neurones à partir de zéro ou en utilisant le transfer learning
- Connaître les modules de PyTorch pour charger les données
- Avoir des notions sur les entraînements distribués
- Avoir des notions sur les nouvelles méta-architectures telles que les transformers
Public concerné
Concepteurs-développeurs en machine learning, data scientists, ingénieurs en IA.
Prérequis
Pratique de Python et du machine learning. Vérifiez que vous avez les prérequis nécessaires pour profiter pleinement de cette formation en faisant
ce test.
Programme
Prise en main de PyTorch
- PyTorch et ses principes fondamentaux.
- Installer PyTorch et les composantes associées.
- Comparaison entre les librairies Numpy et PyTorch.
- PyTorch vs Tensorflow.
- Principes du calcul distribué.
Travaux pratiques
Installation de PyTorch. Manipulation de tenseurs et de matrices.
Sous-modules de PyTorch pour l'entraînement des réseaux de neurones
- Présentation des sous-modules de Pytorch pour l'entraînement des réseaux de neurones.
- Rappels sur la propagation forward.
- Rappels sur la rétropropagation des gradients.
- Chargement des données.
- Définir un réseau neuronal de convolution avec le package torch.nn, entraîner le modèle, le tester.
Travaux pratiques
Mise en place d'un réseau CNN pour la classification d'images.
Transfer learning et utilisation de réseaux pré-entrainés
- Principe du transfer learning.
- Exemples de mise en œuvre de l'apprentissage par transfert.
- Les étapes de la méthode de transfer learning dans les projets de machine learning.
- Utilisation de réseaux pré-entrainés.
Travaux pratiques
Reprise d'exercices précédents, pour améliorer les métriques avec la mise en place du transfer learning.
Les méta-architectures pour des projets complexes
- Présentation des méta-architectures.
- Problématique de détection d'objets.
- Problématique de segmentation d'images.
- L'architecture réseau UNet : les blocs codeur-décodeur et PyTorch.
Travaux pratiques
Création d'un modèle UNet simple pour la segmentation d'images. Comparaison avec le transfer learning pour UNet.
Le NLP avec PyTorch et spaCy
- Le traitement automatique du langage naturel (NLP, pour Natural Language Processing).
- L'intérêt de PyTorch et de spaCy.
- Principe des pipelines.
- Processing de texte .
- Entraînement de réseaux récurrents / biLSTM.
- Utilisation de PyTorch et spaCy pour le NLP.
Travaux pratiques
Topic modelling sur des avis de films. Analyse des sentiments sur des tweets.
Transformers et mécanismes d'attention
- Les transformers pour le traitement automatique des langues.
- Détail des mécanismes d'attention.
- Le mécanisme d'attention appliqué à une séquence : auto-attention.
- Fonctionnement des transformers.
Travaux pratiques
Mise en place d'un modèle de traduction.