Microsoft

Distributed Training & Advanced Application

Ce cours n'est pas disponible en Français (France)

Nous sommes actuellement en train de le traduire dans plus de langues.
Microsoft

Distributed Training & Advanced Application

 Microsoft

Instructeur : Microsoft

Inclus avec Coursera PlusEn savoir plus

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.
niveau Intermédiaire

Expérience recommandée

1 heure à compléter
Planning flexible
Apprenez à votre propre rythme
Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.
niveau Intermédiaire

Expérience recommandée

1 heure à compléter
Planning flexible
Apprenez à votre propre rythme

Ce que vous apprendrez

  • Build PyTorch DDP and FSDP pipelines for multi-node distributed training, profiling communication overhead, and scaling GPU throughput.

  • Configure DeepSpeed ZeRO optimization stages and apply Microsoft Olive and Azure Container for PyTorch to accelerate large model training.

  • Build computer vision and NLP pipelines for object detection, NER, classification, and QA using Florence-2, CLIP, and Hugging Face Transformers.

  • Design multimodal fusion architectures combining vision, text, and audio using Microsoft Phi-4 and OpenAI Whisper on Azure ML.

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Enseigné en Anglais

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

 logos de Petrobras, TATA, Danone, Capgemini, P&G et L'Oreal

Élaborez votre expertise en Machine Learning

Ce cours fait partie de la Certificat Professionnel Microsoft Deep Learning Engineering with Azure
Lorsque vous vous inscrivez à ce cours, vous êtes également inscrit(e) à ce Certificat Professionnel.
  • Apprenez de nouveaux concepts auprès d'experts du secteur
  • Acquérez une compréhension de base d'un sujet ou d'un outil
  • Développez des compétences professionnelles avec des projets pratiques
  • Obtenez un certificat professionnel partageable auprès de Microsoft

Il y a un module dans ce cours

Synthesize your distributed training and model acceleration skills to scale a massive transformer model across a multi-GPU, multi-node cloud cluster. You will write a Python training script that implements Microsoft DeepSpeed ZeRO-3 parameter sharding and activation checkpointing, paired with a DeepSpeed configuration file implementing ZeRO-3 CPU offloading. You will then write the Azure ML SDK v2 code to submit this job to a remote compute cluster using the curated ACP environment and optimized NCCL environment variables.

Inclus

2 lectures1 devoir

Obtenez un certificat professionnel

Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.

Instructeur

 Microsoft
446 Cours2 921 180 apprenants

Offert par

Microsoft

Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

Felipe M.

Étudiant(e) depuis 2018
’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’

Jennifer J.

Étudiant(e) depuis 2020
’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’

Larry W.

Étudiant(e) depuis 2021
’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’

Chaitanya A.

’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’

Foire Aux Questions

¹ Certains travaux de ce cours sont notés par l'IA. Pour ces travaux, vos Données internes seront utilisées conformément à Notification de confidentialité de Coursera.