Introduction to Data Engineering on Google Cloud

Introduction to Data Engineering on Google CloudIDEGGOGoogleGO-IDEG1.0<ul> <li>Verstehen Sie die Rolle eines Dateningenieurs.</li><li>Identifizierung von Data-Engineering-Aufgaben und Kernkomponenten, die in Google Cloud verwendet werden.</li><li>Verstehen Sie, wie man Datenpipelines mit unterschiedlichen Mustern in Google Cloud erstellt und einsetzt.</li><li>Identifizieren und nutzen Sie verschiedene Automatisierungstechniken in Google Cloud.</li></ul><ul> <li>Grundlegende Erfahrung mit Google Cloud unter Verwendung von Cloud Shell und Zugriff auf Produkte über die Google Cloud-Konsole.</li><li>Grundkenntnisse in einer gängigen Abfragesprache wie SQL.</li><li>Erfahrung mit Datenmodellierung und ETL-Aktivitäten (Extrahieren, Transformieren, Laden).</li><li>Erfahrung in der Entwicklung von Anwendungen mit einer gängigen Programmiersprache wie Python.</li></ul><ul> <li>Daten-Ingenieure</li><li>Datenbank-Administratoren</li><li>Systemadministratoren</li></ul><h4>Modul 1 - Data-Engineering-Aufgaben und -Komponenten</h4> Themen: <ul> <li>Die Rolle des Dateningenieurs</li><li>Datenquellen versus Datensenken</li><li>Datenformate</li><li>Optionen für Speicherlösungen in der Google Cloud</li><li>Optionen für die Verwaltung von Metadaten in der Google Cloud</li><li>Gemeinsame Nutzung von Datensätzen mit Analytics Hub</li></ul>Zielsetzungen: <ul> <li>Erklären Sie die Rolle eines Dateningenieurs.</li><li>die Unterschiede zwischen einer Datenquelle und einer Datensenke zu verstehen.</li><li>Erklären Sie die verschiedenen Arten von Datenformaten.</li><li>Erklären Sie die Optionen für Speicherlösungen in der Google Cloud.</li><li>Erfahren Sie mehr über die Möglichkeiten der Metadatenverwaltung in Google Cloud.</li><li>Verstehen Sie, wie Sie mit Analytics Hub problemlos Datensätze gemeinsam nutzen können.</li><li>Verstehen, wie man Daten mit der Google Cloud-Konsole oder der gcloud CLI in BigQuery lädt.</li></ul>Aktivitäten: <ul> <li>Übung: Laden von Daten in BigQuery</li><li>Quiz</li></ul><h4>Modul 2 - Datenreplikation und -migration</h4> Themen: <ul> <li>Replikations- und Migrationsarchitektur</li><li>Das gcloud-Befehlszeilenwerkzeug</li><li>Verschieben von Datensätzen</li><li>Datastream</li></ul>Zielsetzungen: <ul> <li>Erklären Sie die grundlegende Datenreplikations- und Migrationsarchitektur der Google Cloud.</li><li>die Optionen und Anwendungsfälle für das gcloud-Befehlszeilentool zu verstehen.</li><li>Erläutern Sie die Funktionalität und die Anwendungsfälle des Speicherübertragungsdienstes.</li><li>Erläutern Sie die Funktionen und Anwendungsfälle der Transfer Appliance.</li><li>Verstehen Sie die Funktionen und den Einsatz von Datastream.</li></ul>Aktivitäten: <ul> <li>Labor: Datastream: PostgreSQL-Replikation zu BigQuery (optional für ILT)</li><li>Quiz</li></ul><h4>Modul 3 - Das Pipeline-Muster zum Extrahieren und Laden von Daten</h4> Themen: <ul> <li>Architektur extrahieren und laden</li><li>Das bq-Befehlszeilenwerkzeug</li><li>BigQuery-Datenübertragungsdienst</li><li>BigLake</li></ul>Zielsetzungen: <ul> <li>Erläutern Sie das Diagramm der Grundlinienextraktion und -lastarchitektur.</li><li>die Optionen des Befehlszeilenprogramms bq verstehen.</li><li>Erläutern Sie die Funktionen und Anwendungsfälle für den BigQuery Data Transfer Service.</li><li>Erläutern Sie die Funktionalität und die Anwendungsfälle für BigLake als Nicht-Extract-Load-Muster.</li></ul>Aktivitäten: <ul> <li>Labor: BigLake: Qwik Start</li><li>Quiz</li></ul><h4>Modul 4 - Das Pipeline-Muster zum Extrahieren, Laden und Transformieren von Daten</h4> Themen: <ul> <li>Architektur zum Extrahieren, Laden und Umwandeln (ELT)</li><li>SQL-Skripterstellung und Zeitplanung mit BigQuery</li><li>Datenformular</li></ul>Zielsetzungen: <ul> <li>Erläutern Sie das Grundschema der Extraktions-, Lade- und Transformationsarchitektur.</li><li>Verstehen Sie eine gängige ELT-Pipeline in der Google Cloud.</li><li>Erfahren Sie mehr über die SQL-Skripterstellung und die Planungsfunktionen von BigQuery.</li><li>Erläutern Sie die Funktionen und Anwendungsfälle von Dataform.</li></ul>Aktivitäten: <ul> <li>Übung: Erstellen und Ausführen eines SQL-Workflows in Dataform</li><li>Quiz</li></ul><h4>Modul 5 - Das Pipeline-Muster zum Extrahieren, Transformieren und Laden von Daten</h4> Themen: <ul> <li>Architektur des Extrahierens, Transformierens und Ladens (ETL)</li><li>Google Cloud GUI-Tools für ETL-Datenpipelines</li><li>Batch-Datenverarbeitung mit Dataproc</li><li>Optionen für die Verarbeitung von Streaming-Daten</li><li>Bigtable und Datenpipelines</li></ul>Zielsetzungen: <ul> <li>Erläutern Sie das Grundschema der Extraktions-, Transformations- und Ladearchitektur.</li><li>Lernen Sie die GUI-Tools von Google Cloud kennen, die für ETL-Datenpipelines verwendet werden.</li><li>Erläutern Sie die Batch-Datenverarbeitung mit Dataproc.</li><li>Erfahren Sie, wie Sie Dataproc Serverless for Spark für ETL verwenden können.</li><li>Erläutern Sie die Möglichkeiten der Streaming-Datenverarbeitung.</li><li>Erklären Sie, welche Rolle Bigtable in Datenpipelines spielt.</li></ul>Aktivitäten: <ul> <li>Übung: Verwenden von Dataproc Serverless for Spark zum Laden von BigQuery (optional für ILT)</li><li>Übung: Erstellen einer Streaming-Datenpipeline für ein Echtzeit-Dashboard mit Dataflow</li><li>Quiz</li></ul><h4>Modul 6 - Automation Techniques</h4> Themen: <ul> <li>Automatisierungsmuster und Optionen für Pipelines</li><li>Cloud Scheduler und Arbeitsabläufe</li><li>Cloud-Komponist</li><li>Cloud Run-Funktionen</li><li>Eventarc</li></ul>Zielsetzungen: <ul> <li>Erklären Sie die Automatisierungsmuster und -optionen, die für Pipelines verfügbar sind.</li><li>Erfahren Sie mehr über Cloud Scheduler und Workflows.</li><li>Erfahren Sie mehr über Cloud Composer.</li><li>Lernen Sie die Funktionen von Cloud Run kennen.</li><li>Erläutern Sie die Funktionalität und die Anwendungsfälle der Automatisierung von Eventarc.</li></ul>Aktivitäten: <ul> <li>Übung: Verwenden von Cloud Run Functions zum Laden von BigQuery (optional für ILT)</li><li>Quiz</li></ul>Dieser Text wurde automatisiert übersetzt. Um den englischen Originaltext anzuzeigen, klicken Sie bitte <a class="fl-href-prod" href="/swisscom/en/course/google-ideg"><svg role="img" aria-hidden="true" focusable="false" data-nosnippet class="cms-linkmark"><use xlink:href="/css/img/icnset-linkmarks.svg#linkmark"></use></svg>hier</a>.- Verstehen Sie die Rolle eines Dateningenieurs. - Identifizierung von Data-Engineering-Aufgaben und Kernkomponenten, die in Google Cloud verwendet werden. - Verstehen Sie, wie man Datenpipelines mit unterschiedlichen Mustern in Google Cloud erstellt und einsetzt. - Identifizieren und nutzen Sie verschiedene Automatisierungstechniken in Google Cloud.- Grundlegende Erfahrung mit Google Cloud unter Verwendung von Cloud Shell und Zugriff auf Produkte über die Google Cloud-Konsole. - Grundkenntnisse in einer gängigen Abfragesprache wie SQL. - Erfahrung mit Datenmodellierung und ETL-Aktivitäten (Extrahieren, Transformieren, Laden). - Erfahrung in der Entwicklung von Anwendungen mit einer gängigen Programmiersprache wie Python.- Daten-Ingenieure - Datenbank-Administratoren - SystemadministratorenModul 1 - Data-Engineering-Aufgaben und -Komponenten Themen: - Die Rolle des Dateningenieurs - Datenquellen versus Datensenken - Datenformate - Optionen für Speicherlösungen in der Google Cloud - Optionen für die Verwaltung von Metadaten in der Google Cloud - Gemeinsame Nutzung von Datensätzen mit Analytics Hub Zielsetzungen: - Erklären Sie die Rolle eines Dateningenieurs. - die Unterschiede zwischen einer Datenquelle und einer Datensenke zu verstehen. - Erklären Sie die verschiedenen Arten von Datenformaten. - Erklären Sie die Optionen für Speicherlösungen in der Google Cloud. - Erfahren Sie mehr über die Möglichkeiten der Metadatenverwaltung in Google Cloud. - Verstehen Sie, wie Sie mit Analytics Hub problemlos Datensätze gemeinsam nutzen können. - Verstehen, wie man Daten mit der Google Cloud-Konsole oder der gcloud CLI in BigQuery lädt. Aktivitäten: - Übung: Laden von Daten in BigQuery - Quiz Modul 2 - Datenreplikation und -migration Themen: - Replikations- und Migrationsarchitektur - Das gcloud-Befehlszeilenwerkzeug - Verschieben von Datensätzen - Datastream Zielsetzungen: - Erklären Sie die grundlegende Datenreplikations- und Migrationsarchitektur der Google Cloud. - die Optionen und Anwendungsfälle für das gcloud-Befehlszeilentool zu verstehen. - Erläutern Sie die Funktionalität und die Anwendungsfälle des Speicherübertragungsdienstes. - Erläutern Sie die Funktionen und Anwendungsfälle der Transfer Appliance. - Verstehen Sie die Funktionen und den Einsatz von Datastream. Aktivitäten: - Labor: Datastream: PostgreSQL-Replikation zu BigQuery (optional für ILT) - Quiz Modul 3 - Das Pipeline-Muster zum Extrahieren und Laden von Daten Themen: - Architektur extrahieren und laden - Das bq-Befehlszeilenwerkzeug - BigQuery-Datenübertragungsdienst - BigLake Zielsetzungen: - Erläutern Sie das Diagramm der Grundlinienextraktion und -lastarchitektur. - die Optionen des Befehlszeilenprogramms bq verstehen. - Erläutern Sie die Funktionen und Anwendungsfälle für den BigQuery Data Transfer Service. - Erläutern Sie die Funktionalität und die Anwendungsfälle für BigLake als Nicht-Extract-Load-Muster. Aktivitäten: - Labor: BigLake: Qwik Start - Quiz Modul 4 - Das Pipeline-Muster zum Extrahieren, Laden und Transformieren von Daten Themen: - Architektur zum Extrahieren, Laden und Umwandeln (ELT) - SQL-Skripterstellung und Zeitplanung mit BigQuery - Datenformular Zielsetzungen: - Erläutern Sie das Grundschema der Extraktions-, Lade- und Transformationsarchitektur. - Verstehen Sie eine gängige ELT-Pipeline in der Google Cloud. - Erfahren Sie mehr über die SQL-Skripterstellung und die Planungsfunktionen von BigQuery. - Erläutern Sie die Funktionen und Anwendungsfälle von Dataform. Aktivitäten: - Übung: Erstellen und Ausführen eines SQL-Workflows in Dataform - Quiz Modul 5 - Das Pipeline-Muster zum Extrahieren, Transformieren und Laden von Daten Themen: - Architektur des Extrahierens, Transformierens und Ladens (ETL) - Google Cloud GUI-Tools für ETL-Datenpipelines - Batch-Datenverarbeitung mit Dataproc - Optionen für die Verarbeitung von Streaming-Daten - Bigtable und Datenpipelines Zielsetzungen: - Erläutern Sie das Grundschema der Extraktions-, Transformations- und Ladearchitektur. - Lernen Sie die GUI-Tools von Google Cloud kennen, die für ETL-Datenpipelines verwendet werden. - Erläutern Sie die Batch-Datenverarbeitung mit Dataproc. - Erfahren Sie, wie Sie Dataproc Serverless for Spark für ETL verwenden können. - Erläutern Sie die Möglichkeiten der Streaming-Datenverarbeitung. - Erklären Sie, welche Rolle Bigtable in Datenpipelines spielt. Aktivitäten: - Übung: Verwenden von Dataproc Serverless for Spark zum Laden von BigQuery (optional für ILT) - Übung: Erstellen einer Streaming-Datenpipeline für ein Echtzeit-Dashboard mit Dataflow - Quiz Modul 6 - Automation Techniques Themen: - Automatisierungsmuster und Optionen für Pipelines - Cloud Scheduler und Arbeitsabläufe - Cloud-Komponist - Cloud Run-Funktionen - Eventarc Zielsetzungen: - Erklären Sie die Automatisierungsmuster und -optionen, die für Pipelines verfügbar sind. - Erfahren Sie mehr über Cloud Scheduler und Workflows. - Erfahren Sie mehr über Cloud Composer. - Lernen Sie die Funktionen von Cloud Run kennen. - Erläutern Sie die Funktionalität und die Anwendungsfälle der Automatisierung von Eventarc. Aktivitäten: - Übung: Verwenden von Cloud Run Functions zum Laden von BigQuery (optional für ILT) - QuizDieser Text wurde automatisiert übersetzt. Um den englischen Originaltext anzuzeigen, klicken Sie bitte hier.1 Tag595.00660.00650.00820.00950.00950.00950.00790.00950.00