{"course":{"productid":34058,"modality":1,"active":true,"language":"de","title":"Building Batch Data Pipelines on Google Cloud","productcode":"BBDP","vendorcode":"GO","vendorname":"Google","fullproductcode":"GO-BBDP","courseware":{"has_ekit":false,"has_printkit":true,"language":""},"url":"https:\/\/portal.flane.ch\/course\/google-bbdp","objective":"<ul>\n<li>Bestimmen Sie, ob Batch-Datenpipelines die richtige Wahl f&uuml;r Ihren gesch&auml;ftlichen Anwendungsfall sind.<\/li><li>Entwerfen und Erstellen skalierbarer Batch-Datenpipelines f&uuml;r die Aufnahme und Transformation grosser Datenmengen.<\/li><li>Implementierung von Datenqualit&auml;tskontrollen in Batch-Pipelines zur Gew&auml;hrleistung der Datenintegrit&auml;t.<\/li><li>Orchestrierung, Verwaltung und &Uuml;berwachung von Batch-Datenpipeline-Workflows, Implementierung von Fehlerbehandlung und Beobachtbarkeit mit Hilfe von Protokollierungs- und &Uuml;berwachungstools.<\/li><\/ul>","essentials":"<ul>\n<li>Grundkenntnisse in Data Warehousing und ETL\/ELT-Konzepten<\/li><li>Grundlegende SQL-Kenntnisse<\/li><li>Grundlegende Programmierkenntnisse (Python empfohlen)<\/li><li>Vertrautheit mit gcloud CLI und der Google Cloud-Konsole<\/li><li>Vertrautheit mit den wichtigsten Google Cloud-Konzepten und -Diensten<\/li><\/ul>","audience":"<ul>\n<li>Daten-Ingenieure<\/li><li>Datenanalysten<\/li><\/ul>","outline":"<h4>Modul 1 - Wann sollte man Batch-Datenpipelines w&auml;hlen?<\/h4><p>\n<strong>Beschreibung:<\/strong> Sie lernen die entscheidende Rolle eines Dateningenieurs bei der Entwicklung und Wartung von Batch-Datenpipelines kennen, verstehen deren Kernkomponenten und Lebenszyklus und analysieren h&auml;ufige Herausforderungen bei der Batch-Datenverarbeitung. Ausserdem lernen Sie die wichtigsten Google Cloud-Dienste kennen, die diese Herausforderungen bew&auml;ltigen.<\/p>\n<p>Themen:\n<\/p>\n<ul>\n<li>Batch-Datenpipelines und ihre Anwendungsf&auml;lle<\/li><li>Verarbeitung und gemeinsame Herausforderungen<\/li><\/ul><p>Aktivit&auml;ten:\n<\/p>\n<ul>\n<li>Quiz<\/li><\/ul>\n<h4>Modul 2 - Entwurf und Aufbau von Batch-Datenpipelines<\/h4><p>\n<strong>Beschreibung:<\/strong> Sie entwerfen skalierbare Batch-Datenpipelines f&uuml;r die Aufnahme und Transformation grosser Datenmengen. Ausserdem optimieren Sie Batch-Auftr&auml;ge f&uuml;r hohen Durchsatz und Kosteneffizienz, indem Sie verschiedene Techniken zur Ressourcenverwaltung und Leistungsoptimierung anwenden.<\/p>\n<p>Themen:\n<\/p>\n<ul>\n<li>Entwurf von Batch-Pipelines<\/li><li>Grossfl&auml;chige Datentransformationen<\/li><li>Datenfluss und Serverless f&uuml;r Apache Spark<\/li><li>Datenverbindungen und Orchestrierung<\/li><li>Ausf&uuml;hren einer Apache Spark-Pipeline<\/li><li>Optimieren der Batch-Pipeline-Leistung<\/li><\/ul><p>Aktivit&auml;ten:\n<\/p>\n<ul>\n<li>Quiz<\/li><li>&Uuml;bung: Erstellen einer einfachen Batch-Datenpipeline mit Serverless f&uuml;r Apache Spark<\/li><li>&Uuml;bung: Erstellen einer einfachen Batch-Datenpipeline mit Dataflow Job Builder UI<\/li><\/ul><h4>Modul 3 - Kontrolle der Datenqualit&auml;t in Batch-Datenpipelines<\/h4><p>\n<strong>Beschreibung:<\/strong> Sie entwickeln Datenvalidierungsregeln und Bereinigungslogik, um die Datenqualit&auml;t in Batch-Pipelines sicherzustellen. Ausserdem implementieren Sie Strategien f&uuml;r die Verwaltung der Schemaentwicklung und die Durchf&uuml;hrung der Datendeduplizierung in grossen Datens&auml;tzen.<\/p>\n<p>Themen:\n<\/p>\n<ul>\n<li>Validierung und Bereinigung von Batch-Daten<\/li><li>Fehler protokollieren und auswerten<\/li><li>Schemaentwicklung f&uuml;r Batch-Pipelines<\/li><li>Datenintegrit&auml;t und Duplizierung<\/li><li>Deduplizierung mit Serverless f&uuml;r Apache Spark<\/li><li>Deduplizierung mit Dataflow<\/li><\/ul><p>Aktivit&auml;ten:\n<\/p>\n<ul>\n<li>Quiz<\/li><li>&Uuml;bung: Validieren der Datenqualit&auml;t in einer Batch-Pipeline mit Serverless f&uuml;r Apache Spark<\/li><\/ul><h4>Modul 4 - Orchestrierung und &Uuml;berwachung von Batch-Datenpipelines<\/h4><p>\n<strong>Beschreibung:<\/strong> Sie orchestrieren komplexe Batch-Datenpipeline-Workflows f&uuml;r eine effiziente Planung und Verlaufsverfolgung. Ausserdem implementieren Sie eine robuste Fehlerbehandlung, &Uuml;berwachung und Beobachtbarkeit f&uuml;r Batch-Daten-Pipelines.<\/p>\n<p>Themen:\n<\/p>\n<ul>\n<li>Orchestrierung f&uuml;r die Stapelverarbeitung<\/li><li>Cloud-Komponist<\/li><li>Vereinheitlichte Beobachtbarkeit<\/li><li>Warnmeldungen und Fehlerbehebung<\/li><li>Visuelles Pipeline-Management<\/li><li>Herzlichen Gl&uuml;ckwunsch! Zusammenfassung des Kurses<\/li><\/ul><p>Aktivit&auml;ten:\n<\/p>\n<ul>\n<li>Quiz<\/li><li>&Uuml;bung: Aufbau von Batch-Pipelines in der Cloud Data Fusion<\/li><\/ul>","comments":"<p><em>Dieser Text wurde automatisiert &uuml;bersetzt. Um den englischen Originaltext anzuzeigen, klicken Sie bitte <span class=\"cms-link-marked\"><a class=\"fl-href-prod\" href=\"\/swisscom\/en\/course\/google-bbdp\"><svg role=\"img\" aria-hidden=\"true\" focusable=\"false\" data-nosnippet class=\"cms-linkmark\"><use xlink:href=\"\/css\/img\/icnset-linkmarks.svg#linkmark\"><\/use><\/svg>hier<\/a><\/span>.<\/em><\/p>","summary":"<p>In diesem Kurs f&uuml;r Fortgeschrittene lernen Sie, robuste Batch-Datenpipelines auf Google Cloud zu entwerfen, zu erstellen und zu optimieren. &Uuml;ber die grundlegende Datenverarbeitung hinaus lernen Sie umfangreiche Datentransformationen und eine effiziente Workflow-Orchestrierung kennen, die f&uuml;r zeitnahe Business Intelligence und kritische Berichte unerl&auml;sslich sind.<\/p>\n<p>Sie erhalten praktische &Uuml;bungen zur Implementierung von Dataflow f&uuml;r Apache Beam und Serverless f&uuml;r Apache Spark (Dataproc Serverless) und befassen sich mit wichtigen &Uuml;berlegungen zur Datenqualit&auml;t, &Uuml;berwachung und Alarmierung, um die Zuverl&auml;ssigkeit der Pipeline und die operative Exzellenz sicherzustellen. Grundlegende Kenntnisse in Data Warehousing, ETL\/ELT, SQL, Python und Google Cloud-Konzepten werden empfohlen.<\/p>","objective_plain":"- Bestimmen Sie, ob Batch-Datenpipelines die richtige Wahl f\u00fcr Ihren gesch\u00e4ftlichen Anwendungsfall sind.\n- Entwerfen und Erstellen skalierbarer Batch-Datenpipelines f\u00fcr die Aufnahme und Transformation grosser Datenmengen.\n- Implementierung von Datenqualit\u00e4tskontrollen in Batch-Pipelines zur Gew\u00e4hrleistung der Datenintegrit\u00e4t.\n- Orchestrierung, Verwaltung und \u00dcberwachung von Batch-Datenpipeline-Workflows, Implementierung von Fehlerbehandlung und Beobachtbarkeit mit Hilfe von Protokollierungs- und \u00dcberwachungstools.","essentials_plain":"- Grundkenntnisse in Data Warehousing und ETL\/ELT-Konzepten\n- Grundlegende SQL-Kenntnisse\n- Grundlegende Programmierkenntnisse (Python empfohlen)\n- Vertrautheit mit gcloud CLI und der Google Cloud-Konsole\n- Vertrautheit mit den wichtigsten Google Cloud-Konzepten und -Diensten","audience_plain":"- Daten-Ingenieure\n- Datenanalysten","outline_plain":"Modul 1 - Wann sollte man Batch-Datenpipelines w\u00e4hlen?\n\n\nBeschreibung: Sie lernen die entscheidende Rolle eines Dateningenieurs bei der Entwicklung und Wartung von Batch-Datenpipelines kennen, verstehen deren Kernkomponenten und Lebenszyklus und analysieren h\u00e4ufige Herausforderungen bei der Batch-Datenverarbeitung. Ausserdem lernen Sie die wichtigsten Google Cloud-Dienste kennen, die diese Herausforderungen bew\u00e4ltigen.\n\nThemen:\n\n\n\n- Batch-Datenpipelines und ihre Anwendungsf\u00e4lle\n- Verarbeitung und gemeinsame Herausforderungen\nAktivit\u00e4ten:\n\n\n\n- Quiz\n\nModul 2 - Entwurf und Aufbau von Batch-Datenpipelines\n\n\nBeschreibung: Sie entwerfen skalierbare Batch-Datenpipelines f\u00fcr die Aufnahme und Transformation grosser Datenmengen. Ausserdem optimieren Sie Batch-Auftr\u00e4ge f\u00fcr hohen Durchsatz und Kosteneffizienz, indem Sie verschiedene Techniken zur Ressourcenverwaltung und Leistungsoptimierung anwenden.\n\nThemen:\n\n\n\n- Entwurf von Batch-Pipelines\n- Grossfl\u00e4chige Datentransformationen\n- Datenfluss und Serverless f\u00fcr Apache Spark\n- Datenverbindungen und Orchestrierung\n- Ausf\u00fchren einer Apache Spark-Pipeline\n- Optimieren der Batch-Pipeline-Leistung\nAktivit\u00e4ten:\n\n\n\n- Quiz\n- \u00dcbung: Erstellen einer einfachen Batch-Datenpipeline mit Serverless f\u00fcr Apache Spark\n- \u00dcbung: Erstellen einer einfachen Batch-Datenpipeline mit Dataflow Job Builder UI\nModul 3 - Kontrolle der Datenqualit\u00e4t in Batch-Datenpipelines\n\n\nBeschreibung: Sie entwickeln Datenvalidierungsregeln und Bereinigungslogik, um die Datenqualit\u00e4t in Batch-Pipelines sicherzustellen. Ausserdem implementieren Sie Strategien f\u00fcr die Verwaltung der Schemaentwicklung und die Durchf\u00fchrung der Datendeduplizierung in grossen Datens\u00e4tzen.\n\nThemen:\n\n\n\n- Validierung und Bereinigung von Batch-Daten\n- Fehler protokollieren und auswerten\n- Schemaentwicklung f\u00fcr Batch-Pipelines\n- Datenintegrit\u00e4t und Duplizierung\n- Deduplizierung mit Serverless f\u00fcr Apache Spark\n- Deduplizierung mit Dataflow\nAktivit\u00e4ten:\n\n\n\n- Quiz\n- \u00dcbung: Validieren der Datenqualit\u00e4t in einer Batch-Pipeline mit Serverless f\u00fcr Apache Spark\nModul 4 - Orchestrierung und \u00dcberwachung von Batch-Datenpipelines\n\n\nBeschreibung: Sie orchestrieren komplexe Batch-Datenpipeline-Workflows f\u00fcr eine effiziente Planung und Verlaufsverfolgung. Ausserdem implementieren Sie eine robuste Fehlerbehandlung, \u00dcberwachung und Beobachtbarkeit f\u00fcr Batch-Daten-Pipelines.\n\nThemen:\n\n\n\n- Orchestrierung f\u00fcr die Stapelverarbeitung\n- Cloud-Komponist\n- Vereinheitlichte Beobachtbarkeit\n- Warnmeldungen und Fehlerbehebung\n- Visuelles Pipeline-Management\n- Herzlichen Gl\u00fcckwunsch! Zusammenfassung des Kurses\nAktivit\u00e4ten:\n\n\n\n- Quiz\n- \u00dcbung: Aufbau von Batch-Pipelines in der Cloud Data Fusion","comments_plain":"Dieser Text wurde automatisiert \u00fcbersetzt. Um den englischen Originaltext anzuzeigen, klicken Sie bitte hier.","summary_plain":"In diesem Kurs f\u00fcr Fortgeschrittene lernen Sie, robuste Batch-Datenpipelines auf Google Cloud zu entwerfen, zu erstellen und zu optimieren. \u00dcber die grundlegende Datenverarbeitung hinaus lernen Sie umfangreiche Datentransformationen und eine effiziente Workflow-Orchestrierung kennen, die f\u00fcr zeitnahe Business Intelligence und kritische Berichte unerl\u00e4sslich sind.\n\nSie erhalten praktische \u00dcbungen zur Implementierung von Dataflow f\u00fcr Apache Beam und Serverless f\u00fcr Apache Spark (Dataproc Serverless) und befassen sich mit wichtigen \u00dcberlegungen zur Datenqualit\u00e4t, \u00dcberwachung und Alarmierung, um die Zuverl\u00e4ssigkeit der Pipeline und die operative Exzellenz sicherzustellen. Grundlegende Kenntnisse in Data Warehousing, ETL\/ELT, SQL, Python und Google Cloud-Konzepten werden empfohlen.","skill_level":"Intermediate","version":"3.0","duration":{"unit":"d","value":1,"formatted":"1 Tag"},"pricelist":{"List Price":{"US":{"country":"US","currency":"USD","taxrate":null,"price":595},"IT":{"country":"IT","currency":"EUR","taxrate":20,"price":650},"GB":{"country":"GB","currency":"GBP","taxrate":20,"price":660},"CA":{"country":"CA","currency":"CAD","taxrate":null,"price":820},"AT":{"country":"AT","currency":"EUR","taxrate":20,"price":950},"SE":{"country":"SE","currency":"EUR","taxrate":25,"price":950},"DE":{"country":"DE","currency":"EUR","taxrate":19,"price":950},"FR":{"country":"FR","currency":"EUR","taxrate":19.6,"price":790},"CH":{"country":"CH","currency":"CHF","taxrate":8.1,"price":950}}},"lastchanged":"2025-11-24T18:07:03+01:00","parenturl":"https:\/\/portal.flane.ch\/swisscom\/json-courses","nexturl_course_schedule":"https:\/\/portal.flane.ch\/swisscom\/json-course-schedule\/34058","source_lang":"de","source":"https:\/\/portal.flane.ch\/swisscom\/json-course\/google-bbdp"}}