Building Batch Data Pipelines on Google CloudBBDPGOGoogleGO-BBDP3.0<ul>
<li>Bestimmen Sie, ob Batch-Datenpipelines die richtige Wahl für Ihren geschäftlichen Anwendungsfall sind.</li><li>Entwerfen und Erstellen skalierbarer Batch-Datenpipelines für die Aufnahme und Transformation grosser Datenmengen.</li><li>Implementierung von Datenqualitätskontrollen in Batch-Pipelines zur Gewährleistung der Datenintegrität.</li><li>Orchestrierung, Verwaltung und Überwachung von Batch-Datenpipeline-Workflows, Implementierung von Fehlerbehandlung und Beobachtbarkeit mit Hilfe von Protokollierungs- und Überwachungstools.</li></ul><ul>
<li>Grundkenntnisse in Data Warehousing und ETL/ELT-Konzepten</li><li>Grundlegende SQL-Kenntnisse</li><li>Grundlegende Programmierkenntnisse (Python empfohlen)</li><li>Vertrautheit mit gcloud CLI und der Google Cloud-Konsole</li><li>Vertrautheit mit den wichtigsten Google Cloud-Konzepten und -Diensten</li></ul><ul>
<li>Daten-Ingenieure</li><li>Datenanalysten</li></ul><h4>Modul 1 - Wann sollte man Batch-Datenpipelines wählen?</h4><p>
<strong>Beschreibung:</strong> Sie lernen die entscheidende Rolle eines Dateningenieurs bei der Entwicklung und Wartung von Batch-Datenpipelines kennen, verstehen deren Kernkomponenten und Lebenszyklus und analysieren häufige Herausforderungen bei der Batch-Datenverarbeitung. Ausserdem lernen Sie die wichtigsten Google Cloud-Dienste kennen, die diese Herausforderungen bewältigen.</p>
<p>Themen:
</p>
<ul>
<li>Batch-Datenpipelines und ihre Anwendungsfälle</li><li>Verarbeitung und gemeinsame Herausforderungen</li></ul><p>Aktivitäten:
</p>
<ul>
<li>Quiz</li></ul>
<h4>Modul 2 - Entwurf und Aufbau von Batch-Datenpipelines</h4><p>
<strong>Beschreibung:</strong> Sie entwerfen skalierbare Batch-Datenpipelines für die Aufnahme und Transformation grosser Datenmengen. Ausserdem optimieren Sie Batch-Aufträge für hohen Durchsatz und Kosteneffizienz, indem Sie verschiedene Techniken zur Ressourcenverwaltung und Leistungsoptimierung anwenden.</p>
<p>Themen:
</p>
<ul>
<li>Entwurf von Batch-Pipelines</li><li>Grossflächige Datentransformationen</li><li>Datenfluss und Serverless für Apache Spark</li><li>Datenverbindungen und Orchestrierung</li><li>Ausführen einer Apache Spark-Pipeline</li><li>Optimieren der Batch-Pipeline-Leistung</li></ul><p>Aktivitäten:
</p>
<ul>
<li>Quiz</li><li>Übung: Erstellen einer einfachen Batch-Datenpipeline mit Serverless für Apache Spark</li><li>Übung: Erstellen einer einfachen Batch-Datenpipeline mit Dataflow Job Builder UI</li></ul><h4>Modul 3 - Kontrolle der Datenqualität in Batch-Datenpipelines</h4><p>
<strong>Beschreibung:</strong> Sie entwickeln Datenvalidierungsregeln und Bereinigungslogik, um die Datenqualität in Batch-Pipelines sicherzustellen. Ausserdem implementieren Sie Strategien für die Verwaltung der Schemaentwicklung und die Durchführung der Datendeduplizierung in grossen Datensätzen.</p>
<p>Themen:
</p>
<ul>
<li>Validierung und Bereinigung von Batch-Daten</li><li>Fehler protokollieren und auswerten</li><li>Schemaentwicklung für Batch-Pipelines</li><li>Datenintegrität und Duplizierung</li><li>Deduplizierung mit Serverless für Apache Spark</li><li>Deduplizierung mit Dataflow</li></ul><p>Aktivitäten:
</p>
<ul>
<li>Quiz</li><li>Übung: Validieren der Datenqualität in einer Batch-Pipeline mit Serverless für Apache Spark</li></ul><h4>Modul 4 - Orchestrierung und Überwachung von Batch-Datenpipelines</h4><p>
<strong>Beschreibung:</strong> Sie orchestrieren komplexe Batch-Datenpipeline-Workflows für eine effiziente Planung und Verlaufsverfolgung. Ausserdem implementieren Sie eine robuste Fehlerbehandlung, Überwachung und Beobachtbarkeit für Batch-Daten-Pipelines.</p>
<p>Themen:
</p>
<ul>
<li>Orchestrierung für die Stapelverarbeitung</li><li>Cloud-Komponist</li><li>Vereinheitlichte Beobachtbarkeit</li><li>Warnmeldungen und Fehlerbehebung</li><li>Visuelles Pipeline-Management</li><li>Herzlichen Glückwunsch! Zusammenfassung des Kurses</li></ul><p>Aktivitäten:
</p>
<ul>
<li>Quiz</li><li>Übung: Aufbau von Batch-Pipelines in der Cloud Data Fusion</li></ul><p><em>Dieser Text wurde automatisiert übersetzt. Um den englischen Originaltext anzuzeigen, klicken Sie bitte <span class="cms-link-marked"><a class="fl-href-prod" href="/swisscom/en/course/google-bbdp"><svg role="img" aria-hidden="true" focusable="false" data-nosnippet class="cms-linkmark"><use xlink:href="/css/img/icnset-linkmarks.svg#linkmark"></use></svg>hier</a></span>.</em></p>- Bestimmen Sie, ob Batch-Datenpipelines die richtige Wahl für Ihren geschäftlichen Anwendungsfall sind.
- Entwerfen und Erstellen skalierbarer Batch-Datenpipelines für die Aufnahme und Transformation grosser Datenmengen.
- Implementierung von Datenqualitätskontrollen in Batch-Pipelines zur Gewährleistung der Datenintegrität.
- Orchestrierung, Verwaltung und Überwachung von Batch-Datenpipeline-Workflows, Implementierung von Fehlerbehandlung und Beobachtbarkeit mit Hilfe von Protokollierungs- und Überwachungstools.- Grundkenntnisse in Data Warehousing und ETL/ELT-Konzepten
- Grundlegende SQL-Kenntnisse
- Grundlegende Programmierkenntnisse (Python empfohlen)
- Vertrautheit mit gcloud CLI und der Google Cloud-Konsole
- Vertrautheit mit den wichtigsten Google Cloud-Konzepten und -Diensten- Daten-Ingenieure
- DatenanalystenModul 1 - Wann sollte man Batch-Datenpipelines wählen?
Beschreibung: Sie lernen die entscheidende Rolle eines Dateningenieurs bei der Entwicklung und Wartung von Batch-Datenpipelines kennen, verstehen deren Kernkomponenten und Lebenszyklus und analysieren häufige Herausforderungen bei der Batch-Datenverarbeitung. Ausserdem lernen Sie die wichtigsten Google Cloud-Dienste kennen, die diese Herausforderungen bewältigen.
Themen:
- Batch-Datenpipelines und ihre Anwendungsfälle
- Verarbeitung und gemeinsame Herausforderungen
Aktivitäten:
- Quiz
Modul 2 - Entwurf und Aufbau von Batch-Datenpipelines
Beschreibung: Sie entwerfen skalierbare Batch-Datenpipelines für die Aufnahme und Transformation grosser Datenmengen. Ausserdem optimieren Sie Batch-Aufträge für hohen Durchsatz und Kosteneffizienz, indem Sie verschiedene Techniken zur Ressourcenverwaltung und Leistungsoptimierung anwenden.
Themen:
- Entwurf von Batch-Pipelines
- Grossflächige Datentransformationen
- Datenfluss und Serverless für Apache Spark
- Datenverbindungen und Orchestrierung
- Ausführen einer Apache Spark-Pipeline
- Optimieren der Batch-Pipeline-Leistung
Aktivitäten:
- Quiz
- Übung: Erstellen einer einfachen Batch-Datenpipeline mit Serverless für Apache Spark
- Übung: Erstellen einer einfachen Batch-Datenpipeline mit Dataflow Job Builder UI
Modul 3 - Kontrolle der Datenqualität in Batch-Datenpipelines
Beschreibung: Sie entwickeln Datenvalidierungsregeln und Bereinigungslogik, um die Datenqualität in Batch-Pipelines sicherzustellen. Ausserdem implementieren Sie Strategien für die Verwaltung der Schemaentwicklung und die Durchführung der Datendeduplizierung in grossen Datensätzen.
Themen:
- Validierung und Bereinigung von Batch-Daten
- Fehler protokollieren und auswerten
- Schemaentwicklung für Batch-Pipelines
- Datenintegrität und Duplizierung
- Deduplizierung mit Serverless für Apache Spark
- Deduplizierung mit Dataflow
Aktivitäten:
- Quiz
- Übung: Validieren der Datenqualität in einer Batch-Pipeline mit Serverless für Apache Spark
Modul 4 - Orchestrierung und Überwachung von Batch-Datenpipelines
Beschreibung: Sie orchestrieren komplexe Batch-Datenpipeline-Workflows für eine effiziente Planung und Verlaufsverfolgung. Ausserdem implementieren Sie eine robuste Fehlerbehandlung, Überwachung und Beobachtbarkeit für Batch-Daten-Pipelines.
Themen:
- Orchestrierung für die Stapelverarbeitung
- Cloud-Komponist
- Vereinheitlichte Beobachtbarkeit
- Warnmeldungen und Fehlerbehebung
- Visuelles Pipeline-Management
- Herzlichen Glückwunsch! Zusammenfassung des Kurses
Aktivitäten:
- Quiz
- Übung: Aufbau von Batch-Pipelines in der Cloud Data FusionDieser Text wurde automatisiert übersetzt. Um den englischen Originaltext anzuzeigen, klicken Sie bitte hier.1 Tag595.00650.00660.00820.00950.00950.00950.00790.00950.00