Data Parallelism: How to Train Deep Learning Models on Multiple GPUs

Data Parallelism: How to Train Deep Learning Models on Multiple GPUsDPHTDLMNVNvidiaNV-DPHTDLM1.0Durch die Teilnahme an diesem Workshop werden Sie: <ul> <li>Verstehen, wie datenparalleles Deep Learning-Training mit mehreren GPUs durchgeführt wird</li><li>Maximaler Durchsatz beim Training, um mehrere GPUs optimal nutzen zu können</li><li>Verteilen Sie das Training auf mehrere GPUs mit Pytorch Distributed Data Parallel</li><li>Algorithmische Überlegungen zur Multi-GPU-Trainingsleistung und -genauigkeit verstehen und anwenden</li></ul>Erfahrung mit Deep Learning Training mit PythonEinführung <ul> <li>Treffen Sie den Ausbilder.</li><li>Erstellen Sie ein Konto unter courses.nvidia.com/join</li></ul>Stochastischer Gradientenabstieg und die Auswirkungen der Chargengrösse <ul> <li>Lernen Sie die Bedeutung des stochastischen Gradientenabstiegs beim Training auf mehreren GPUs kennen</li><li>Verstehen Sie die Probleme der sequentiellen Single-Thread-Datenverarbeitung und die Theorie der Beschleunigung von Anwendungen durch parallele Verarbeitung.</li><li>Verstehen der Verlustfunktion, des Gradientenabstiegs und des stochastischen Gradientenabstiegs (SGD).</li><li>Verstehen der Auswirkungen der Stapelgrösse auf die Genauigkeit und die Trainingszeit im Hinblick auf die Verwendung auf Multi-GPU-Systemen.</li></ul>Training auf mehreren GPUs mit PyTorch Distributed Data Parallel (DDP) <ul> <li>Lernen Sie, wie man mit PyTorch Distributed Data Parallel ein GPU-Training auf mehrere GPUs überträgt.</li><li>Verstehen, wie DDP das Training zwischen mehreren GPUs koordiniert.</li><li>Refaktorieren Sie Trainingsprogramme für eine einzelne GPU, damit sie mit DDP auf mehreren GPUs laufen.</li></ul>Beibehaltung der Modellgenauigkeit bei Skalierung auf mehrere GPUs <ul> <li>Verstehen und Anwenden wichtiger algorithmischer Überlegungen, um die Genauigkeit beim Training auf mehreren GPUs zu erhalten</li><li>Verstehen, warum die Genauigkeit bei der Parallelisierung des Trainings auf mehreren GPUs abnehmen kann.</li><li>Erlernen und Verstehen von Techniken zur Aufrechterhaltung der Genauigkeit bei der Skalierung des Trainings auf mehrere GPUs.</li></ul>Workshop Bewertung <ul> <li>Nutzen Sie, was Sie während des Workshops gelernt haben: füllen Sie die Workshop-Bewertung aus, um ein Kompetenzzertifikat zu erhalten</li></ul>Abschlussbericht <ul> <li>Besprechung der wichtigsten Erkenntnisse und abschliessende Fragen.</li><li>Nehmen Sie an der Workshop-Umfrage teil.</li></ul>Dieser Text wurde automatisiert übersetzt. Um den englischen Originaltext anzuzeigen, klicken Sie bitte <a class="fl-href-prod" href="/swisscom/en/course/nvidia-dphtdlm"><svg role="img" aria-hidden="true" focusable="false" data-nosnippet class="cms-linkmark"><use xlink:href="/css/img/icnset-linkmarks.svg#linkmark"></use></svg>hier</a>.Durch die Teilnahme an diesem Workshop werden Sie: - Verstehen, wie datenparalleles Deep Learning-Training mit mehreren GPUs durchgeführt wird - Maximaler Durchsatz beim Training, um mehrere GPUs optimal nutzen zu können - Verteilen Sie das Training auf mehrere GPUs mit Pytorch Distributed Data Parallel - Algorithmische Überlegungen zur Multi-GPU-Trainingsleistung und -genauigkeit verstehen und anwendenErfahrung mit Deep Learning Training mit PythonEinführung - Treffen Sie den Ausbilder. - Erstellen Sie ein Konto unter courses.nvidia.com/join Stochastischer Gradientenabstieg und die Auswirkungen der Chargengrösse - Lernen Sie die Bedeutung des stochastischen Gradientenabstiegs beim Training auf mehreren GPUs kennen - Verstehen Sie die Probleme der sequentiellen Single-Thread-Datenverarbeitung und die Theorie der Beschleunigung von Anwendungen durch parallele Verarbeitung. - Verstehen der Verlustfunktion, des Gradientenabstiegs und des stochastischen Gradientenabstiegs (SGD). - Verstehen der Auswirkungen der Stapelgrösse auf die Genauigkeit und die Trainingszeit im Hinblick auf die Verwendung auf Multi-GPU-Systemen. Training auf mehreren GPUs mit PyTorch Distributed Data Parallel (DDP) - Lernen Sie, wie man mit PyTorch Distributed Data Parallel ein GPU-Training auf mehrere GPUs überträgt. - Verstehen, wie DDP das Training zwischen mehreren GPUs koordiniert. - Refaktorieren Sie Trainingsprogramme für eine einzelne GPU, damit sie mit DDP auf mehreren GPUs laufen. Beibehaltung der Modellgenauigkeit bei Skalierung auf mehrere GPUs - Verstehen und Anwenden wichtiger algorithmischer Überlegungen, um die Genauigkeit beim Training auf mehreren GPUs zu erhalten - Verstehen, warum die Genauigkeit bei der Parallelisierung des Trainings auf mehreren GPUs abnehmen kann. - Erlernen und Verstehen von Techniken zur Aufrechterhaltung der Genauigkeit bei der Skalierung des Trainings auf mehrere GPUs. Workshop Bewertung - Nutzen Sie, was Sie während des Workshops gelernt haben: füllen Sie die Workshop-Bewertung aus, um ein Kompetenzzertifikat zu erhalten Abschlussbericht - Besprechung der wichtigsten Erkenntnisse und abschliessende Fragen. - Nehmen Sie an der Workshop-Umfrage teil.Dieser Text wurde automatisiert übersetzt. Um den englischen Originaltext anzuzeigen, klicken Sie bitte hier.1 Tag500.00500.00500.00500.00500.00420.00500.00690.00