{"course":{"productid":18642,"modality":1,"active":true,"language":"de","title":"Data Engineering on Google Cloud Platform","productcode":"DEGCP","vendorcode":"GO","vendorname":"Google","fullproductcode":"GO-DEGCP","courseware":{"has_ekit":false,"has_printkit":true,"language":"en"},"url":"https:\/\/portal.flane.ch\/course\/google-degcp","objective":"<ul>\n<li>Entwurf und Aufbau von Datenverarbeitungssystemen in der Google Cloud.<\/li><li>Verarbeiten Sie Batch- und Streaming-Daten durch die Implementierung automatisch skalierender Datenpipelines auf Dataflow.<\/li><li>Gewinnen Sie mit BigQuery Erkenntnisse aus extrem grossen Datens&auml;tzen.<\/li><li>Nutzen Sie unstrukturierte Daten mit Spark und ML-APIs auf Dataproc.<\/li><li>Erm&ouml;glichen Sie sofortige Einblicke aus Streaming-Daten.<\/li><\/ul>","essentials":"<ul>\n<li>Fr&uuml;here Erfahrungen mit Google Cloud unter Verwendung von Cloud Shell und Zugriff auf Produkte &uuml;ber die Google Cloud-Konsole.<\/li><li>Grundkenntnisse in einer g&auml;ngigen Abfragesprache wie SQL.<\/li><li>Erfahrung mit Datenmodellierung und ETL-Aktivit&auml;ten (Extrahieren, Transformieren, Laden).<\/li><li>Erfahrung in der Entwicklung von Anwendungen in einer g&auml;ngigen Programmiersprache wie Python<\/li><\/ul>","audience":"<ul>\n<li>Daten-Ingenieure<\/li><li>Datenbank-Administratoren<\/li><li>Systemadministratoren<\/li><\/ul>","outline":"<h4>Modul 01 - Aufgaben und Komponenten der Datentechnik<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Die Rolle des Dateningenieurs<\/li><li>Datenquellen versus Datensynchronisation<\/li><li>Datenformate<\/li><li>Optionen f&uuml;r Speicherl&ouml;sungen in der Google Cloud<\/li><li>Optionen f&uuml;r die Verwaltung von Metadaten in der Google Cloud<\/li><li>Gemeinsame Nutzung von Datens&auml;tzen &uuml;ber Analytics Hub<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>Erkl&auml;ren Sie die Rolle eines Dateningenieurs.<\/li><li>die Unterschiede zwischen einer Datenquelle und einer Datensenke zu verstehen.<\/li><li>Erkl&auml;ren Sie die verschiedenen Arten von Datenformaten.<\/li><li>Erkl&auml;ren Sie die Optionen f&uuml;r Speicherl&ouml;sungen in der Google Cloud.<\/li><li>Erfahren Sie mehr &uuml;ber die M&ouml;glichkeiten der Metadatenverwaltung in Google Cloud.<\/li><li>Verstehen Sie, wie Sie mit Analytics Hub problemlos Datens&auml;tze gemeinsam nutzen k&ouml;nnen.<\/li><li>Verstehen, wie man Daten mit der Google Cloud-Konsole und\/oder der gcloud CLI in BigQuery l&auml;dt.<\/li><\/ul><p><strong>Aktivit&auml;ten:<\/strong>\n<\/p>\n<ul>\n<li>&Uuml;bung: Laden von Daten in BigQuery<\/li><\/ul><h4>Modul 02 - Datenreplikation und -migration<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Replikations- und Migrationsarchitektur<\/li><li>Das gcloud-Befehlszeilenwerkzeug<\/li><li>Verschieben von Datens&auml;tzen<\/li><li>Datastream<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>Erkl&auml;ren Sie die grundlegende Datenreplikations- und Migrationsarchitektur der Google Cloud.<\/li><li>die Optionen und Anwendungsf&auml;lle f&uuml;r das gcloud-Befehlszeilentool zu verstehen.<\/li><li>Erl&auml;utern Sie die Funktionalit&auml;t und die Anwendungsf&auml;lle f&uuml;r den Speicher&uuml;bertragungsdienst.<\/li><li>Erl&auml;utern Sie die Funktionen und Anwendungsf&auml;lle f&uuml;r die Transfer Appliance.<\/li><li>Verstehen Sie die Funktionen und den Einsatz von Datastream.<\/li><\/ul><p><strong>Aktivit&auml;ten:<\/strong>\n<\/p>\n<ul>\n<li>Lab: Datastream: PostgreSQL Replikation auf BigQuery<\/li><\/ul><h4>Modul 03 - Das Muster der Pipeline f&uuml;r das Extrahieren und Laden von Daten<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Architektur extrahieren und laden<\/li><li>Das bq Kommandozeilenwerkzeug<\/li><li>BigQuery-Daten&uuml;bertragungsdienst<\/li><li>BigLake<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>Erl&auml;utern Sie das Grundlinienextrakt- und Lastarchitekturdiagramm.<\/li><li>die Optionen des bq Kommandozeilenwerkzeugs zu verstehen.<\/li><li>Erl&auml;utern Sie die Funktionen und Anwendungsf&auml;lle f&uuml;r den BigQuery Data Transfer Service.<\/li><li>Erl&auml;utern Sie die Funktionalit&auml;t und die Anwendungsf&auml;lle f&uuml;r BigLake als Nicht-Extract-Load-Muster.<\/li><\/ul><p><strong>Aktivit&auml;ten:<\/strong>\n<\/p>\n<ul>\n<li>Labor: BigLake: Qwik Start<\/li><\/ul><h4>Modul 04 - Das Muster der Pipeline f&uuml;r das Extrahieren, Laden und Transformieren von Daten<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Architektur zum Extrahieren, Laden und Umwandeln (ELT)<\/li><li>SQL-Skripterstellung und Zeitplanung mit BigQuery<\/li><li>Datenformular<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>Erl&auml;utern Sie das Grundschema der Extraktions-, Lade- und Transformationsarchitektur.<\/li><li>Verstehen Sie eine g&auml;ngige ELT-Pipeline in der Google Cloud.<\/li><li>Erfahren Sie mehr &uuml;ber die SQL-Skripterstellung und die Planungsfunktionen von BigQuery.<\/li><li>Erl&auml;utern Sie die Funktionen und Anwendungsf&auml;lle von Dataform.<\/li><\/ul><p><strong>Aktivit&auml;ten:<\/strong>\n<\/p>\n<ul>\n<li>&Uuml;bung: Erstellen und Ausf&uuml;hren eines SQL-Workflows in Dataform<\/li><\/ul><h4>Modul 05 - Das Muster der Pipeline f&uuml;r das Extrahieren, Transformieren und Laden von Daten<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Architektur des Extrahierens, Transformierens und Ladens (ETL)<\/li><li>Google Cloud GUI-Tools f&uuml;r ETL-Datenpipelines<\/li><li>Batch-Datenverarbeitung mit Dataproc<\/li><li>Optionen f&uuml;r die Verarbeitung von Streaming-Daten<\/li><li>Bigtable und Datenpipelines<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>Erl&auml;utern Sie das Grundschema der Extraktions-, Transformations- und Ladearchitektur.<\/li><li>Lernen Sie die GUI-Tools in Google Cloud kennen, die f&uuml;r ETL-Datenpipelines verwendet werden.<\/li><li>Erl&auml;utern Sie die Batch-Datenverarbeitung mit Dataproc.<\/li><li>Lernen Sie, Dataproc Serverless for Spark f&uuml;r ETL zu verwenden.<\/li><li>Erl&auml;utern Sie die M&ouml;glichkeiten der Streaming-Datenverarbeitung.<\/li><li>Erkl&auml;ren Sie, welche Rolle Bigtable in Datenpipelines spielt.<\/li><\/ul><p><strong>Aktivit&auml;ten:<\/strong>\n<\/p>\n<ul>\n<li>&Uuml;bung: Dataproc Serverless f&uuml;r Spark verwenden, um BigQuery zu laden<\/li><li>&Uuml;bung: Erstellen einer Streaming-Datenpipeline f&uuml;r ein Echtzeit-Dashboard mit Dataflow<\/li><\/ul><h4>Modul 06 - Automatisierungstechniken<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Automatisierungsmuster und Optionen f&uuml;r Pipelines<\/li><li>Cloud Scheduler und Arbeitsabl&auml;ufe<\/li><li>Cloud-Komponist<\/li><li>Cloud Run-Funktionen<\/li><li>Eventarc<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>Erkl&auml;ren Sie die Automatisierungsmuster und -optionen, die f&uuml;r Pipelines verf&uuml;gbar sind.<\/li><li>Erfahren Sie mehr &uuml;ber Cloud Scheduler und Workflows.<\/li><li>Erfahren Sie mehr &uuml;ber Cloud Composer.<\/li><li>Lernen Sie die Funktionen von Cloud Run kennen.<\/li><li>Erl&auml;utern Sie die Funktionalit&auml;t und die Anwendungsf&auml;lle der Automatisierung von Eventarc.<\/li><\/ul><p><strong>Aktivit&auml;ten:<\/strong>\n<\/p>\n<ul>\n<li>&Uuml;bung: Verwenden von Cloud Run Functions zum Laden von BigQuery<\/li><\/ul><h4>Modul 07 - Einf&uuml;hrung in die Datentechnik<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Die Rolle des Dateningenieurs<\/li><li>Herausforderungen der Datentechnik<\/li><li>Einf&uuml;hrung in BigQuery<\/li><li>Data Lakes und Data Warehouses<\/li><li>Transaktionsdatenbanken versus Data Warehouses<\/li><li>Effiziente Partnerschaft mit anderen Datenteams<\/li><li>Verwaltung von Datenzugang und Governance<\/li><li>Aufbau von produktionsreifen Pipelines<\/li><li>Google Cloud Kundenfallstudie<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>Er&ouml;rtern Sie die Herausforderungen der Datentechnik und wie der Aufbau von Datenpipelines in der Cloud dazu beitr&auml;gt, diese zu bew&auml;ltigen.<\/li><li>&Uuml;berpr&uuml;fen und verstehen Sie den Zweck eines Data Lake im Vergleich zu einem Data Warehouse und wann Sie welches einsetzen sollten.<\/li><\/ul><p><strong>Aktivit&auml;ten:<\/strong>\n<\/p>\n<ul>\n<li>&Uuml;bung: BigQuery f&uuml;r die Analyse verwenden<\/li><\/ul><h4>Modul 08 - Aufbau eines Data Lake<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Einf&uuml;hrung in Data Lakes<\/li><li>Datenspeicherung und ETL-Optionen in der Google Cloud<\/li><li>Aufbau eines Data Lake mit Cloud Storage<\/li><li>Sicherer Cloud-Speicher<\/li><li>Alle Arten von Datentypen speichern<\/li><li>Cloud SQL als Ihr OLTP-System<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>Diskutieren Sie, warum Cloud Storage eine gute Option f&uuml;r den Aufbau eines Data Lake in der Google Cloud ist.<\/li><li>Erl&auml;utern Sie, wie Sie Cloud SQL f&uuml;r einen relationalen Datensee verwenden k&ouml;nnen.<\/li><\/ul><p><strong>Aktivit&auml;ten:<\/strong>\n<\/p>\n<ul>\n<li>&Uuml;bung: Laden von Taxidaten in Cloud SQL<\/li><\/ul><h4>Modul 09 - Aufbau eines Data Warehouse<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Das moderne Data Warehouse<\/li><li>Einf&uuml;hrung in BigQuery<\/li><li>Erste Schritte mit BigQuery<\/li><li>Laden von Daten in BigQuery<\/li><li>Erkundung von Schemata<\/li><li>Entwurf des Schemas<\/li><li>Verschachtelte und wiederholte Felder<\/li><li>Optimierung mit Partitionierung und Clustering<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>Er&ouml;rterung der Anforderungen an ein modernes Lager.<\/li><li>Erkl&auml;ren Sie, warum BigQuery die skalierbare Data-Warehousing-L&ouml;sung in der Google Cloud ist.<\/li><li>Besprechung der Kernkonzepte von BigQuery und &Uuml;berpr&uuml;fung der Optionen zum Laden von Daten in BigQuery.<\/li><\/ul><p><strong>Aktivit&auml;ten:<\/strong>\n<\/p>\n<ul>\n<li>&Uuml;bung: Arbeiten mit JSON- und Array-Daten in BigQuery<\/li><li>&Uuml;bung: Partitionierte Tabellen in BigQuery<\/li><\/ul><h4>Modul 10 - Einf&uuml;hrung in die Erstellung von Batch-Datenpipelines<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>EL, ELT, ETL<\/li><li>&Uuml;berlegungen zur Qualit&auml;t<\/li><li>M&ouml;glichkeiten der Ausf&uuml;hrung von Operationen in BigQuery<\/li><li>Unzul&auml;nglichkeiten<\/li><li>ETL zur L&ouml;sung von Datenqualit&auml;tsproblemen<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>&Uuml;berpr&uuml;fen Sie verschiedene Methoden zum Laden von Daten in Ihre Data Lakes und Warehouses: EL, ELT und ETL.<\/li><\/ul><h4>Modul 11 - Ausf&uuml;hren von Spark auf Dataproc<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Das Hadoop-&Ouml;kosystem<\/li><li>Hadoop auf Dataproc ausf&uuml;hren<\/li><li>Cloud-Speicher anstelle von HDFS<\/li><li>Optimieren Sie Dataproc<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>&Uuml;berpr&uuml;fen Sie das Hadoop-&Ouml;kosystem.<\/li><li>Diskutieren Sie, wie Sie Ihre bestehenden Hadoop-Workloads mit Dataproc in die Cloud verlagern k&ouml;nnen.<\/li><li>Erl&auml;utern Sie, wann Sie Cloud-Speicher anstelle von HDFS-Speicher verwenden w&uuml;rden.<\/li><li>Erl&auml;utern Sie, wie Sie Dataproc-Auftr&auml;ge optimieren k&ouml;nnen.<\/li><\/ul><p><strong>Aktivit&auml;ten:<\/strong>\n<\/p>\n<ul>\n<li>&Uuml;bung: Ausf&uuml;hren von Apache Spark-Auftr&auml;gen auf Dataproc<\/li><\/ul><h4>Modul 12 - Serverlose Datenverarbeitung mit Dataflow<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Einf&uuml;hrung in den Datenfluss<\/li><li>Gr&uuml;nde, warum Kunden Dataflow sch&auml;tzen<\/li><li>Datenfluss-Pipelines<\/li><li>Aggregieren mit GroupByKey und Kombinieren<\/li><li>Seitliche Eing&auml;nge und Fenster<\/li><li>Datenfluss-Vorlagen<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>Identifizieren Sie die Funktionen, die Kunden an Dataflow sch&auml;tzen.<\/li><li>Diskutieren Sie die Kernkonzepte von Dataflow.<\/li><li>&Uuml;berpr&uuml;fen Sie die Verwendung von Dataflow-Vorlagen und SQL.<\/li><li>Schreiben Sie eine einfache Dataflow-Pipeline und f&uuml;hren Sie sie sowohl lokal als auch in der Cloud aus.<\/li><li>Identifizieren von Map- und Reduce-Operationen, Ausf&uuml;hren der Pipeline und Verwenden von Befehlszeilenparametern.<\/li><li>Lesen Sie Daten aus BigQuery in Dataflow und verwenden Sie die Ausgabe einer Pipeline als Nebeneingang f&uuml;r eine andere Pipeline.<\/li><\/ul><p><strong>Aktivit&auml;ten:<\/strong>\n<\/p>\n<ul>\n<li>Lab: A Simple Dataflow Pipeline (Python\/Java)<\/li><li>&Uuml;bung: MapReduce in Beam (Python\/Java)<\/li><li>Lab: Side Inputs (Python\/Java)<\/li><\/ul><h4>Modul 13 - Verwalten von Datenpipelines mit Cloud Data Fusion und Cloud Composer<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Visuelle Erstellung von Batch-Datenpipelines mit Cloud Data Fusion<ul>\n<li>Komponenten<\/li><li>UI-&Uuml;bersicht<\/li><li>Aufbau einer Pipeline<\/li><li>Daten mit Wrangler erforschen<\/li><\/ul><\/li><li>Orchestrierung der Arbeit zwischen Google Cloud-Diensten mit Cloud Composer<ul>\n<li>Apache Airflow-Umgebung<\/li><li>DAGs und Operatoren<\/li><li>Workflow-Planung<\/li><li>&Uuml;berwachung und Protokollierung<\/li><\/ul><\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>Besprechen Sie, wie Sie Ihre Datenpipelines mit Cloud Data Fusion und Cloud Composer verwalten k&ouml;nnen.<\/li><li>Fassen Sie zusammen, wie Cloud Data Fusion es Datenanalysten und ETL-Entwicklern erm&ouml;glicht, Daten zu verarbeiten und Pipelines auf visuelle Art und Weise zu erstellen.<\/li><li>Beschreiben Sie, wie Cloud Composer bei der Orchestrierung der Arbeit &uuml;ber mehrere Google Cloud-Dienste hinweg helfen kann.<\/li><\/ul><p><strong>Aktivit&auml;ten:<\/strong>\n<\/p>\n<ul>\n<li>&Uuml;bung: Aufbau und Ausf&uuml;hrung eines Pipeline-Graphen in der Datenfusion<\/li><li>&Uuml;bung: Eine Einf&uuml;hrung in Cloud Composer<\/li><\/ul><h4>Modul 14 - Einf&uuml;hrung in die Verarbeitung von Streaming-Daten<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Verarbeitung von Streaming-Daten<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>Erkl&auml;ren Sie die Streaming-Datenverarbeitung.<\/li><li>Identifizieren Sie die Google Cloud-Produkte und -Tools, die bei der Bew&auml;ltigung von Streaming-Daten-Herausforderungen helfen k&ouml;nnen.<\/li><\/ul><h4>Modul 15 - Serverloses Messaging mit Pub\/Sub<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Einf&uuml;hrung in Pub\/Sub<\/li><li>Pub\/Sub push versus pull<\/li><li>Ver&ouml;ffentlichung mit Pub\/Sub-Code<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>Beschreiben Sie den Pub\/Sub-Dienst.<\/li><li>Erkl&auml;ren Sie, wie Pub\/Sub funktioniert.<\/li><li>Simulation von Echtzeit-Sensordatenstr&ouml;men mit Pub\/Sub.<\/li><\/ul><p><strong>Aktivit&auml;ten:<\/strong>\n<\/p>\n<ul>\n<li>&Uuml;bung: Streaming-Daten in Pub\/Sub ver&ouml;ffentlichen<\/li><\/ul><h4>Modul 16 - Datenfluss-Streaming-Funktionen<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Herausforderungen bei der Datenverarbeitung<\/li><li>Datenfluss-Fensterung<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>Beschreiben Sie den Dataflow-Dienst.<\/li><li>Aufbau einer Stream-Verarbeitungspipeline f&uuml;r Live-Verkehrsdaten.<\/li><li>Demonstration des Umgangs mit versp&auml;teten Daten unter Verwendung von Wasserzeichen, Triggern und Akkumulation.<\/li><\/ul><p><strong>Aktivit&auml;ten:<\/strong>\n<\/p>\n<ul>\n<li>&Uuml;bung: Streaming-Daten-Pipelines<\/li><\/ul><h4>Modul 17 - BigQuery- und Bigtable-Streaming-Funktionen mit hohem Durchsatz<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Streaming in BigQuery und Visualisierung der Ergebnisse<\/li><li>Streaming mit hohem Durchsatz mit Bigtable<\/li><li>Optimierung der Bigtable-Leistung<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>Beschreiben Sie, wie Sie mit BigQuery und Dashboards Ad-hoc-Analysen f&uuml;r Streaming-Daten durchf&uuml;hren k&ouml;nnen.<\/li><li>Diskutieren Sie Bigtable als L&ouml;sung mit niedriger Latenzzeit.<\/li><li>Beschreiben Sie, wie Sie eine Architektur f&uuml;r Bigtable erstellen und wie Sie Daten in Bigtable einlesen k&ouml;nnen.<\/li><li>Hervorhebung der Leistungs&uuml;berlegungen f&uuml;r die betreffenden Dienste.<\/li><\/ul><p><strong>Aktivit&auml;ten:<\/strong>\n<\/p>\n<ul>\n<li>Labor: Streaming-Analytik und Dashboards<\/li><li>&Uuml;bung: Personalisierte E-Mail-Inhalte mit BigQuery Continuous Queries und Gemini generieren<\/li><li>&Uuml;bung: Streaming Data Pipelines in Bigtable<\/li><\/ul><h4>Modul 18 - Erweiterte BigQuery-Funktionen und -Leistung<\/h4><p>\n<strong>Themen:<\/strong>\n<\/p>\n<ul>\n<li>Analytische Fensterfunktionen<\/li><li>GIS-Funktionen<\/li><li>&Uuml;berlegungen zur Leistung<\/li><\/ul><p><strong>Zielsetzungen:<\/strong>\n<\/p>\n<ul>\n<li>&Uuml;berpr&uuml;fen Sie einige der erweiterten Analysefunktionen von BigQuery.<\/li><li>Er&ouml;rterung von M&ouml;glichkeiten zur Verbesserung der Abfrageleistung.<\/li><\/ul><p><strong>Aktivit&auml;ten:<\/strong>\n<\/p>\n<ul>\n<li>&Uuml;bung: Optimieren Ihrer BigQuery-Abfragen f&uuml;r die Leistung<\/li><\/ul>","comments":"<p><em>Dieser Text wurde automatisiert &uuml;bersetzt. Um den englischen Originaltext anzuzeigen, klicken Sie bitte <span class=\"cms-link-marked\"><a class=\"fl-href-prod\" href=\"\/swisscom\/en\/course\/google-degcp\"><svg role=\"img\" aria-hidden=\"true\" focusable=\"false\" data-nosnippet class=\"cms-linkmark\"><use xlink:href=\"\/css\/img\/icnset-linkmarks.svg#linkmark\"><\/use><\/svg>hier<\/a><\/span>.<\/em><\/p>","summary":"<p>Sammeln Sie praktische Erfahrungen mit dem Entwurf und der Erstellung von Datenverarbeitungssystemen auf Google Cloud. Dieser Kurs zeigt Ihnen anhand von Vortr&auml;gen, Demos und praktischen &Uuml;bungen, wie Sie Datenverarbeitungssysteme entwerfen, End-to-End-Datenpipelines erstellen, Daten analysieren und maschinelles Lernen implementieren. Dieser Kurs deckt strukturierte, unstrukturierte und Streaming-Daten ab.<\/p>","objective_plain":"- Entwurf und Aufbau von Datenverarbeitungssystemen in der Google Cloud.\n- Verarbeiten Sie Batch- und Streaming-Daten durch die Implementierung automatisch skalierender Datenpipelines auf Dataflow.\n- Gewinnen Sie mit BigQuery Erkenntnisse aus extrem grossen Datens\u00e4tzen.\n- Nutzen Sie unstrukturierte Daten mit Spark und ML-APIs auf Dataproc.\n- Erm\u00f6glichen Sie sofortige Einblicke aus Streaming-Daten.","essentials_plain":"- Fr\u00fchere Erfahrungen mit Google Cloud unter Verwendung von Cloud Shell und Zugriff auf Produkte \u00fcber die Google Cloud-Konsole.\n- Grundkenntnisse in einer g\u00e4ngigen Abfragesprache wie SQL.\n- Erfahrung mit Datenmodellierung und ETL-Aktivit\u00e4ten (Extrahieren, Transformieren, Laden).\n- Erfahrung in der Entwicklung von Anwendungen in einer g\u00e4ngigen Programmiersprache wie Python","audience_plain":"- Daten-Ingenieure\n- Datenbank-Administratoren\n- Systemadministratoren","outline_plain":"Modul 01 - Aufgaben und Komponenten der Datentechnik\n\n\nThemen:\n\n\n\n- Die Rolle des Dateningenieurs\n- Datenquellen versus Datensynchronisation\n- Datenformate\n- Optionen f\u00fcr Speicherl\u00f6sungen in der Google Cloud\n- Optionen f\u00fcr die Verwaltung von Metadaten in der Google Cloud\n- Gemeinsame Nutzung von Datens\u00e4tzen \u00fcber Analytics Hub\nZielsetzungen:\n\n\n\n- Erkl\u00e4ren Sie die Rolle eines Dateningenieurs.\n- die Unterschiede zwischen einer Datenquelle und einer Datensenke zu verstehen.\n- Erkl\u00e4ren Sie die verschiedenen Arten von Datenformaten.\n- Erkl\u00e4ren Sie die Optionen f\u00fcr Speicherl\u00f6sungen in der Google Cloud.\n- Erfahren Sie mehr \u00fcber die M\u00f6glichkeiten der Metadatenverwaltung in Google Cloud.\n- Verstehen Sie, wie Sie mit Analytics Hub problemlos Datens\u00e4tze gemeinsam nutzen k\u00f6nnen.\n- Verstehen, wie man Daten mit der Google Cloud-Konsole und\/oder der gcloud CLI in BigQuery l\u00e4dt.\nAktivit\u00e4ten:\n\n\n\n- \u00dcbung: Laden von Daten in BigQuery\nModul 02 - Datenreplikation und -migration\n\n\nThemen:\n\n\n\n- Replikations- und Migrationsarchitektur\n- Das gcloud-Befehlszeilenwerkzeug\n- Verschieben von Datens\u00e4tzen\n- Datastream\nZielsetzungen:\n\n\n\n- Erkl\u00e4ren Sie die grundlegende Datenreplikations- und Migrationsarchitektur der Google Cloud.\n- die Optionen und Anwendungsf\u00e4lle f\u00fcr das gcloud-Befehlszeilentool zu verstehen.\n- Erl\u00e4utern Sie die Funktionalit\u00e4t und die Anwendungsf\u00e4lle f\u00fcr den Speicher\u00fcbertragungsdienst.\n- Erl\u00e4utern Sie die Funktionen und Anwendungsf\u00e4lle f\u00fcr die Transfer Appliance.\n- Verstehen Sie die Funktionen und den Einsatz von Datastream.\nAktivit\u00e4ten:\n\n\n\n- Lab: Datastream: PostgreSQL Replikation auf BigQuery\nModul 03 - Das Muster der Pipeline f\u00fcr das Extrahieren und Laden von Daten\n\n\nThemen:\n\n\n\n- Architektur extrahieren und laden\n- Das bq Kommandozeilenwerkzeug\n- BigQuery-Daten\u00fcbertragungsdienst\n- BigLake\nZielsetzungen:\n\n\n\n- Erl\u00e4utern Sie das Grundlinienextrakt- und Lastarchitekturdiagramm.\n- die Optionen des bq Kommandozeilenwerkzeugs zu verstehen.\n- Erl\u00e4utern Sie die Funktionen und Anwendungsf\u00e4lle f\u00fcr den BigQuery Data Transfer Service.\n- Erl\u00e4utern Sie die Funktionalit\u00e4t und die Anwendungsf\u00e4lle f\u00fcr BigLake als Nicht-Extract-Load-Muster.\nAktivit\u00e4ten:\n\n\n\n- Labor: BigLake: Qwik Start\nModul 04 - Das Muster der Pipeline f\u00fcr das Extrahieren, Laden und Transformieren von Daten\n\n\nThemen:\n\n\n\n- Architektur zum Extrahieren, Laden und Umwandeln (ELT)\n- SQL-Skripterstellung und Zeitplanung mit BigQuery\n- Datenformular\nZielsetzungen:\n\n\n\n- Erl\u00e4utern Sie das Grundschema der Extraktions-, Lade- und Transformationsarchitektur.\n- Verstehen Sie eine g\u00e4ngige ELT-Pipeline in der Google Cloud.\n- Erfahren Sie mehr \u00fcber die SQL-Skripterstellung und die Planungsfunktionen von BigQuery.\n- Erl\u00e4utern Sie die Funktionen und Anwendungsf\u00e4lle von Dataform.\nAktivit\u00e4ten:\n\n\n\n- \u00dcbung: Erstellen und Ausf\u00fchren eines SQL-Workflows in Dataform\nModul 05 - Das Muster der Pipeline f\u00fcr das Extrahieren, Transformieren und Laden von Daten\n\n\nThemen:\n\n\n\n- Architektur des Extrahierens, Transformierens und Ladens (ETL)\n- Google Cloud GUI-Tools f\u00fcr ETL-Datenpipelines\n- Batch-Datenverarbeitung mit Dataproc\n- Optionen f\u00fcr die Verarbeitung von Streaming-Daten\n- Bigtable und Datenpipelines\nZielsetzungen:\n\n\n\n- Erl\u00e4utern Sie das Grundschema der Extraktions-, Transformations- und Ladearchitektur.\n- Lernen Sie die GUI-Tools in Google Cloud kennen, die f\u00fcr ETL-Datenpipelines verwendet werden.\n- Erl\u00e4utern Sie die Batch-Datenverarbeitung mit Dataproc.\n- Lernen Sie, Dataproc Serverless for Spark f\u00fcr ETL zu verwenden.\n- Erl\u00e4utern Sie die M\u00f6glichkeiten der Streaming-Datenverarbeitung.\n- Erkl\u00e4ren Sie, welche Rolle Bigtable in Datenpipelines spielt.\nAktivit\u00e4ten:\n\n\n\n- \u00dcbung: Dataproc Serverless f\u00fcr Spark verwenden, um BigQuery zu laden\n- \u00dcbung: Erstellen einer Streaming-Datenpipeline f\u00fcr ein Echtzeit-Dashboard mit Dataflow\nModul 06 - Automatisierungstechniken\n\n\nThemen:\n\n\n\n- Automatisierungsmuster und Optionen f\u00fcr Pipelines\n- Cloud Scheduler und Arbeitsabl\u00e4ufe\n- Cloud-Komponist\n- Cloud Run-Funktionen\n- Eventarc\nZielsetzungen:\n\n\n\n- Erkl\u00e4ren Sie die Automatisierungsmuster und -optionen, die f\u00fcr Pipelines verf\u00fcgbar sind.\n- Erfahren Sie mehr \u00fcber Cloud Scheduler und Workflows.\n- Erfahren Sie mehr \u00fcber Cloud Composer.\n- Lernen Sie die Funktionen von Cloud Run kennen.\n- Erl\u00e4utern Sie die Funktionalit\u00e4t und die Anwendungsf\u00e4lle der Automatisierung von Eventarc.\nAktivit\u00e4ten:\n\n\n\n- \u00dcbung: Verwenden von Cloud Run Functions zum Laden von BigQuery\nModul 07 - Einf\u00fchrung in die Datentechnik\n\n\nThemen:\n\n\n\n- Die Rolle des Dateningenieurs\n- Herausforderungen der Datentechnik\n- Einf\u00fchrung in BigQuery\n- Data Lakes und Data Warehouses\n- Transaktionsdatenbanken versus Data Warehouses\n- Effiziente Partnerschaft mit anderen Datenteams\n- Verwaltung von Datenzugang und Governance\n- Aufbau von produktionsreifen Pipelines\n- Google Cloud Kundenfallstudie\nZielsetzungen:\n\n\n\n- Er\u00f6rtern Sie die Herausforderungen der Datentechnik und wie der Aufbau von Datenpipelines in der Cloud dazu beitr\u00e4gt, diese zu bew\u00e4ltigen.\n- \u00dcberpr\u00fcfen und verstehen Sie den Zweck eines Data Lake im Vergleich zu einem Data Warehouse und wann Sie welches einsetzen sollten.\nAktivit\u00e4ten:\n\n\n\n- \u00dcbung: BigQuery f\u00fcr die Analyse verwenden\nModul 08 - Aufbau eines Data Lake\n\n\nThemen:\n\n\n\n- Einf\u00fchrung in Data Lakes\n- Datenspeicherung und ETL-Optionen in der Google Cloud\n- Aufbau eines Data Lake mit Cloud Storage\n- Sicherer Cloud-Speicher\n- Alle Arten von Datentypen speichern\n- Cloud SQL als Ihr OLTP-System\nZielsetzungen:\n\n\n\n- Diskutieren Sie, warum Cloud Storage eine gute Option f\u00fcr den Aufbau eines Data Lake in der Google Cloud ist.\n- Erl\u00e4utern Sie, wie Sie Cloud SQL f\u00fcr einen relationalen Datensee verwenden k\u00f6nnen.\nAktivit\u00e4ten:\n\n\n\n- \u00dcbung: Laden von Taxidaten in Cloud SQL\nModul 09 - Aufbau eines Data Warehouse\n\n\nThemen:\n\n\n\n- Das moderne Data Warehouse\n- Einf\u00fchrung in BigQuery\n- Erste Schritte mit BigQuery\n- Laden von Daten in BigQuery\n- Erkundung von Schemata\n- Entwurf des Schemas\n- Verschachtelte und wiederholte Felder\n- Optimierung mit Partitionierung und Clustering\nZielsetzungen:\n\n\n\n- Er\u00f6rterung der Anforderungen an ein modernes Lager.\n- Erkl\u00e4ren Sie, warum BigQuery die skalierbare Data-Warehousing-L\u00f6sung in der Google Cloud ist.\n- Besprechung der Kernkonzepte von BigQuery und \u00dcberpr\u00fcfung der Optionen zum Laden von Daten in BigQuery.\nAktivit\u00e4ten:\n\n\n\n- \u00dcbung: Arbeiten mit JSON- und Array-Daten in BigQuery\n- \u00dcbung: Partitionierte Tabellen in BigQuery\nModul 10 - Einf\u00fchrung in die Erstellung von Batch-Datenpipelines\n\n\nThemen:\n\n\n\n- EL, ELT, ETL\n- \u00dcberlegungen zur Qualit\u00e4t\n- M\u00f6glichkeiten der Ausf\u00fchrung von Operationen in BigQuery\n- Unzul\u00e4nglichkeiten\n- ETL zur L\u00f6sung von Datenqualit\u00e4tsproblemen\nZielsetzungen:\n\n\n\n- \u00dcberpr\u00fcfen Sie verschiedene Methoden zum Laden von Daten in Ihre Data Lakes und Warehouses: EL, ELT und ETL.\nModul 11 - Ausf\u00fchren von Spark auf Dataproc\n\n\nThemen:\n\n\n\n- Das Hadoop-\u00d6kosystem\n- Hadoop auf Dataproc ausf\u00fchren\n- Cloud-Speicher anstelle von HDFS\n- Optimieren Sie Dataproc\nZielsetzungen:\n\n\n\n- \u00dcberpr\u00fcfen Sie das Hadoop-\u00d6kosystem.\n- Diskutieren Sie, wie Sie Ihre bestehenden Hadoop-Workloads mit Dataproc in die Cloud verlagern k\u00f6nnen.\n- Erl\u00e4utern Sie, wann Sie Cloud-Speicher anstelle von HDFS-Speicher verwenden w\u00fcrden.\n- Erl\u00e4utern Sie, wie Sie Dataproc-Auftr\u00e4ge optimieren k\u00f6nnen.\nAktivit\u00e4ten:\n\n\n\n- \u00dcbung: Ausf\u00fchren von Apache Spark-Auftr\u00e4gen auf Dataproc\nModul 12 - Serverlose Datenverarbeitung mit Dataflow\n\n\nThemen:\n\n\n\n- Einf\u00fchrung in den Datenfluss\n- Gr\u00fcnde, warum Kunden Dataflow sch\u00e4tzen\n- Datenfluss-Pipelines\n- Aggregieren mit GroupByKey und Kombinieren\n- Seitliche Eing\u00e4nge und Fenster\n- Datenfluss-Vorlagen\nZielsetzungen:\n\n\n\n- Identifizieren Sie die Funktionen, die Kunden an Dataflow sch\u00e4tzen.\n- Diskutieren Sie die Kernkonzepte von Dataflow.\n- \u00dcberpr\u00fcfen Sie die Verwendung von Dataflow-Vorlagen und SQL.\n- Schreiben Sie eine einfache Dataflow-Pipeline und f\u00fchren Sie sie sowohl lokal als auch in der Cloud aus.\n- Identifizieren von Map- und Reduce-Operationen, Ausf\u00fchren der Pipeline und Verwenden von Befehlszeilenparametern.\n- Lesen Sie Daten aus BigQuery in Dataflow und verwenden Sie die Ausgabe einer Pipeline als Nebeneingang f\u00fcr eine andere Pipeline.\nAktivit\u00e4ten:\n\n\n\n- Lab: A Simple Dataflow Pipeline (Python\/Java)\n- \u00dcbung: MapReduce in Beam (Python\/Java)\n- Lab: Side Inputs (Python\/Java)\nModul 13 - Verwalten von Datenpipelines mit Cloud Data Fusion und Cloud Composer\n\n\nThemen:\n\n\n\n- Visuelle Erstellung von Batch-Datenpipelines mit Cloud Data Fusion\n- Komponenten\n- UI-\u00dcbersicht\n- Aufbau einer Pipeline\n- Daten mit Wrangler erforschen\n- Orchestrierung der Arbeit zwischen Google Cloud-Diensten mit Cloud Composer\n- Apache Airflow-Umgebung\n- DAGs und Operatoren\n- Workflow-Planung\n- \u00dcberwachung und Protokollierung\nZielsetzungen:\n\n\n\n- Besprechen Sie, wie Sie Ihre Datenpipelines mit Cloud Data Fusion und Cloud Composer verwalten k\u00f6nnen.\n- Fassen Sie zusammen, wie Cloud Data Fusion es Datenanalysten und ETL-Entwicklern erm\u00f6glicht, Daten zu verarbeiten und Pipelines auf visuelle Art und Weise zu erstellen.\n- Beschreiben Sie, wie Cloud Composer bei der Orchestrierung der Arbeit \u00fcber mehrere Google Cloud-Dienste hinweg helfen kann.\nAktivit\u00e4ten:\n\n\n\n- \u00dcbung: Aufbau und Ausf\u00fchrung eines Pipeline-Graphen in der Datenfusion\n- \u00dcbung: Eine Einf\u00fchrung in Cloud Composer\nModul 14 - Einf\u00fchrung in die Verarbeitung von Streaming-Daten\n\n\nThemen:\n\n\n\n- Verarbeitung von Streaming-Daten\nZielsetzungen:\n\n\n\n- Erkl\u00e4ren Sie die Streaming-Datenverarbeitung.\n- Identifizieren Sie die Google Cloud-Produkte und -Tools, die bei der Bew\u00e4ltigung von Streaming-Daten-Herausforderungen helfen k\u00f6nnen.\nModul 15 - Serverloses Messaging mit Pub\/Sub\n\n\nThemen:\n\n\n\n- Einf\u00fchrung in Pub\/Sub\n- Pub\/Sub push versus pull\n- Ver\u00f6ffentlichung mit Pub\/Sub-Code\nZielsetzungen:\n\n\n\n- Beschreiben Sie den Pub\/Sub-Dienst.\n- Erkl\u00e4ren Sie, wie Pub\/Sub funktioniert.\n- Simulation von Echtzeit-Sensordatenstr\u00f6men mit Pub\/Sub.\nAktivit\u00e4ten:\n\n\n\n- \u00dcbung: Streaming-Daten in Pub\/Sub ver\u00f6ffentlichen\nModul 16 - Datenfluss-Streaming-Funktionen\n\n\nThemen:\n\n\n\n- Herausforderungen bei der Datenverarbeitung\n- Datenfluss-Fensterung\nZielsetzungen:\n\n\n\n- Beschreiben Sie den Dataflow-Dienst.\n- Aufbau einer Stream-Verarbeitungspipeline f\u00fcr Live-Verkehrsdaten.\n- Demonstration des Umgangs mit versp\u00e4teten Daten unter Verwendung von Wasserzeichen, Triggern und Akkumulation.\nAktivit\u00e4ten:\n\n\n\n- \u00dcbung: Streaming-Daten-Pipelines\nModul 17 - BigQuery- und Bigtable-Streaming-Funktionen mit hohem Durchsatz\n\n\nThemen:\n\n\n\n- Streaming in BigQuery und Visualisierung der Ergebnisse\n- Streaming mit hohem Durchsatz mit Bigtable\n- Optimierung der Bigtable-Leistung\nZielsetzungen:\n\n\n\n- Beschreiben Sie, wie Sie mit BigQuery und Dashboards Ad-hoc-Analysen f\u00fcr Streaming-Daten durchf\u00fchren k\u00f6nnen.\n- Diskutieren Sie Bigtable als L\u00f6sung mit niedriger Latenzzeit.\n- Beschreiben Sie, wie Sie eine Architektur f\u00fcr Bigtable erstellen und wie Sie Daten in Bigtable einlesen k\u00f6nnen.\n- Hervorhebung der Leistungs\u00fcberlegungen f\u00fcr die betreffenden Dienste.\nAktivit\u00e4ten:\n\n\n\n- Labor: Streaming-Analytik und Dashboards\n- \u00dcbung: Personalisierte E-Mail-Inhalte mit BigQuery Continuous Queries und Gemini generieren\n- \u00dcbung: Streaming Data Pipelines in Bigtable\nModul 18 - Erweiterte BigQuery-Funktionen und -Leistung\n\n\nThemen:\n\n\n\n- Analytische Fensterfunktionen\n- GIS-Funktionen\n- \u00dcberlegungen zur Leistung\nZielsetzungen:\n\n\n\n- \u00dcberpr\u00fcfen Sie einige der erweiterten Analysefunktionen von BigQuery.\n- Er\u00f6rterung von M\u00f6glichkeiten zur Verbesserung der Abfrageleistung.\nAktivit\u00e4ten:\n\n\n\n- \u00dcbung: Optimieren Ihrer BigQuery-Abfragen f\u00fcr die Leistung","comments_plain":"Dieser Text wurde automatisiert \u00fcbersetzt. Um den englischen Originaltext anzuzeigen, klicken Sie bitte hier.","summary_plain":"Sammeln Sie praktische Erfahrungen mit dem Entwurf und der Erstellung von Datenverarbeitungssystemen auf Google Cloud. Dieser Kurs zeigt Ihnen anhand von Vortr\u00e4gen, Demos und praktischen \u00dcbungen, wie Sie Datenverarbeitungssysteme entwerfen, End-to-End-Datenpipelines erstellen, Daten analysieren und maschinelles Lernen implementieren. Dieser Kurs deckt strukturierte, unstrukturierte und Streaming-Daten ab.","skill_level":"Intermediate","version":"3.0","duration":{"unit":"d","value":4,"formatted":"4 Tage"},"pricelist":{"List Price":{"IT":{"country":"IT","currency":"EUR","taxrate":20,"price":2600},"DE":{"country":"DE","currency":"EUR","taxrate":19,"price":2600},"NL":{"country":"NL","currency":"EUR","taxrate":21,"price":2695},"BE":{"country":"BE","currency":"EUR","taxrate":21,"price":2695},"AT":{"country":"AT","currency":"EUR","taxrate":20,"price":2600},"US":{"country":"US","currency":"USD","taxrate":null,"price":2495},"ES":{"country":"ES","currency":"EUR","taxrate":18,"price":1950},"SG":{"country":"SG","currency":"SGD","taxrate":8,"price":3450},"SE":{"country":"SE","currency":"EUR","taxrate":25,"price":2600},"AE":{"country":"AE","currency":"USD","taxrate":5,"price":2600},"CH":{"country":"CH","currency":"CHF","taxrate":8.1,"price":3380},"IN":{"country":"IN","currency":"USD","taxrate":12.36,"price":1500},"RU":{"country":"RU","currency":"RUB","taxrate":18,"price":221000},"IL":{"country":"IL","currency":"ILS","taxrate":17,"price":9020},"GR":{"country":"GR","currency":"EUR","taxrate":null,"price":1950},"MK":{"country":"MK","currency":"EUR","taxrate":null,"price":1950},"HU":{"country":"HU","currency":"EUR","taxrate":20,"price":1950},"SI":{"country":"SI","currency":"EUR","taxrate":20,"price":2600},"GB":{"country":"GB","currency":"GBP","taxrate":20,"price":2640},"CA":{"country":"CA","currency":"CAD","taxrate":null,"price":3445},"FR":{"country":"FR","currency":"EUR","taxrate":19.6,"price":2990}}},"lastchanged":"2025-11-18T18:18:14+01:00","parenturl":"https:\/\/portal.flane.ch\/swisscom\/json-courses","nexturl_course_schedule":"https:\/\/portal.flane.ch\/swisscom\/json-course-schedule\/18642","source_lang":"de","source":"https:\/\/portal.flane.ch\/swisscom\/json-course\/google-degcp"}}