Data Engineering on AWS

Data Engineering on AWSDEAWSAWAmazon Web ServicesAW-DEAWS1.0In diesem Kurs lernen Sie Folgendes: <ul> <li>Verstehen Sie die grundlegenden Rollen und Schlüsselkonzepte des Data Engineering, einschliesslich Datenpersönlichkeiten, Datenermittlung und relevante AWS-Services.</li><li>Identifizieren und erläutern Sie die verschiedenen AWS-Tools und -Services, die für das Data Engineering von entscheidender Bedeutung sind, darunter Orchestrierung, Sicherheit, Überwachung, CI/CD, IaC, Netzwerke und Kostenoptimierung.</li><li>Entwerfen und implementieren Sie eine Data-Lake-Lösung auf AWS, einschliesslich Speicherung, Datenaufnahme, Transformation und Bereitstellung von Daten für die Nutzung.</li><li>Optimieren und sichern Sie eine Data-Lake-Lösung durch die Implementierung offener Tabellenformate, Sicherheitsmassnahmen und die Behebung häufiger Probleme.</li><li>Entwerfen und richten Sie ein Data Warehouse mit Amazon Redshift Serverless ein und machen Sie sich mit dessen Architektur, Datenerfassung, Verarbeitung und Bereitstellungsfunktionen vertraut.</li><li>Wenden Sie Techniken zur Leistungsoptimierung auf Data Warehouses in Amazon Redshift an, darunter Überwachung, Datenoptimierung, Abfrageoptimierung und Orchestrierung.</li><li>Verwalten Sie die Sicherheit und Zugriffskontrolle für Data Warehouses in Amazon Redshift und machen Sie sich mit Authentifizierung, Datensicherheit, Auditing und Compliance vertraut.</li><li>Entwerfen Sie effektive Batch-Datenpipelines unter Verwendung geeigneter AWS-Dienste für die Verarbeitung und Transformation von Daten.</li><li>Implementieren Sie umfassende Strategien für Batch-Datenpipelines, die die Datenverarbeitung, -transformation, -integration, -katalogisierung und -bereitstellung für die Nutzung abdecken.</li><li>Optimieren, koordinieren und sichern Sie Batch-Datenpipelines und demonstrieren Sie dabei fortgeschrittene Kenntnisse in den Bereichen Datenverarbeitungsautomatisierung und -sicherheit.</li><li>Entwickeln Sie Streaming-Datenpipelines, verstehen Sie verschiedene Anwendungsfälle, Erfassung, Speicherung, Verarbeitung und Analyse mithilfe von AWS-Diensten.</li><li>Optimierung und Sicherung von Streaming-Datenlösungen, einschliesslich Compliance-Aspekten und Zugriffskontrolle.</li></ul>Wir empfehlen, dass die Teilnehmer dieses Kurses über folgende Voraussetzungen verfügen: <ul> <li>Vertrautheit mit grundlegenden Konzepten des maschinellen Lernens, wie beispielsweise überwachtes und unüberwachtes Lernen, Regression, Klassifizierung und Clustering-Algorithmen.</li><li>Praktische Kenntnisse der Programmiersprache Python und gängiger Data-Science-Bibliotheken wie NumPy, Pandas und Scikit-learn.</li><li>Grundlegendes Verständnis der Cloud-Computing-Konzepte und Vertrautheit mit der AWS-Plattform.</li><li>Kenntnisse in SQL und relationalen Datenbanken sind empfehlenswert, aber nicht zwingend erforderlich.</li><li>Erfahrung mit Versionskontrollsystemen wie Git ist von Vorteil, aber nicht erforderlich.</li></ul>Dieser Kurs richtet sich an Fachleute, die sich für das Entwerfen, Erstellen, Optimieren und Sichern von Data-Engineering-Lösungen unter Verwendung von AWS-Diensten interessieren.<h4>Tag 1</h4>Modul 1: Aufgabenbereiche und Schlüsselkonzepte im Bereich Data Engineering <ul> <li>Die Rolle eines Dateningenieurs</li><li>Wichtige Aufgaben eines Dateningenieurs</li><li>Daten Personen</li><li>Datenermittlung</li><li>AWS-Datendienste</li></ul>Modul 2: AWS-Tools und -Services für das Data Engineering <ul> <li>Orchestrierung und Automatisierung</li><li>Sicherheit im Bereich Datenverarbeitung</li><li>Überwachung</li><li>Kontinuierliche Integration und kontinuierliche Bereitstellung</li><li>Infrastruktur als Code</li><li>AWS Serverless-Anwendungsmodell</li><li>Überlegungen zum Netzwerk</li><li>Kostenoptimierungstools</li></ul>Modul 3: Entwurf und Implementierung von Data Lakes <ul> <li>Einführung in Data Lakes</li><li>Datenspeicher</li><li>Daten in einen Data Lake einlesen</li><li>Katalogdaten</li><li>Daten transformieren</li><li>Serverdaten für den Verbrauch</li></ul> Praktisches Labor: Einrichten eines Data Lake auf AWS Modul 4: Optimierung und Sicherung einer Data-Lake-Lösung <ul> <li>Formate für offene Tabellen</li><li>Sicherheit mit AWS Lake Formation</li><li>Festlegen von Berechtigungen mit Lake Formation</li><li>Sicherheit und Governance</li><li>Fehlerbehebung</li></ul> Praktisches Labor: Automatisierung der Erstellung von Data Lakes mit AWS Lake Formation Blueprints <h4>Tag 2</h4> Modul 5: Architektur und Gestaltungsprinzipien von Data Warehouses <ul> <li>Einführung in Data Warehouses</li><li>Amazon Redshift – Übersicht</li><li>Daten in Redshift einlesen</li><li>Datenverarbeitung</li><li>Daten für den Verbrauch bereitstellen</li></ul> Praktisches Labor: Einrichten eines Data Warehouse mit Amazon Redshift Serverless Modul 6: Techniken zur Leistungsoptimierung für Data Warehouses <ul> <li>Überwachungs- und Optimierungsoptionen</li><li>Datenoptimierung in Amazon Redshift</li><li>Abfrageoptimierung in Amazon Redshift</li><li>Orchestrierungsoptionen</li></ul>Modul 7: Sicherheit und Zugriffskontrolle für Data Warehouses <ul> <li>Authentifizierung und Zugriffskontrolle in Amazon Redshift</li><li>Datensicherheit in Amazon Redshift</li><li>Auditierung und Compliance in Amazon Redshift</li></ul> Praktisches Labor: Verwaltung der Zugriffskontrolle in Redshift Modul 8: Entwerfen von Batch-Datenpipelines <ul> <li>Einführung in Batch-Datenpipelines</li><li>Entwurf einer Batch-Datenpipeline</li><li>AWS-Dienste für die Stapelverarbeitung von Daten</li></ul>Modul 9: Implementierung von Strategien für die Batch-Datenpipeline <ul> <li>Elemente einer Batch-Datenpipeline</li><li>Verarbeitung und Umwandlung von Daten</li><li>Integration und Katalogisierung Ihrer Daten</li><li>Daten für den Verbrauch bereitstellen</li></ul> Praktisches Labor: Ein Tag im Leben eines Dateningenieurs <h4>Tag drei</h4>Modul 10: Optimierung, Orchestrierung und Sicherung von Batch-Datenpipelines <ul> <li>Optimierung der Batch-Datenpipeline</li><li>Orchestrierung der Batch-Datenpipeline</li><li>Sicherung der Batch-Datenpipeline</li></ul> Praktisches Labor: Orchestrierung der Datenverarbeitung in Spark mithilfe von AWS Step Functions Modul 11: Architekturmuster für Streaming-Daten <ul> <li>Einführung in Streaming-Datenpipelines</li><li>Daten aus Stream-Quellen erfassen</li><li>Streaming-Datenaufnahmedienste</li><li>Speichern von Streaming-Daten</li><li>Verarbeitung von Streaming-Daten</li><li>Analyse von Streaming-Daten mit AWS-Services</li></ul> Praktisches Labor: Streaming-Analysen mit Amazon Managed Service für Apache Flink Modul 12: Optimierung und Sicherung von Streaming-Lösungen <ul> <li>Optimierung einer Streaming-Datenlösung</li><li>Sichern einer Streaming-Datenpipeline</li><li>Compliance-Überlegungen</li></ul> Praktisches Labor: Zugriffskontrolle mit Amazon Managed Streaming für Apache KafkaDieser Text wurde automatisiert übersetzt. Um den englischen Originaltext anzuzeigen, klicken Sie bitte <a class="fl-href-prod" href="/swisscom/en/course/amazon-deaws"><svg role="img" aria-hidden="true" focusable="false" data-nosnippet class="cms-linkmark"><use xlink:href="/css/img/icnset-linkmarks.svg#linkmark"></use></svg>hier</a>.In diesem Kurs lernen Sie Folgendes: - Verstehen Sie die grundlegenden Rollen und Schlüsselkonzepte des Data Engineering, einschliesslich Datenpersönlichkeiten, Datenermittlung und relevante AWS-Services. - Identifizieren und erläutern Sie die verschiedenen AWS-Tools und -Services, die für das Data Engineering von entscheidender Bedeutung sind, darunter Orchestrierung, Sicherheit, Überwachung, CI/CD, IaC, Netzwerke und Kostenoptimierung. - Entwerfen und implementieren Sie eine Data-Lake-Lösung auf AWS, einschliesslich Speicherung, Datenaufnahme, Transformation und Bereitstellung von Daten für die Nutzung. - Optimieren und sichern Sie eine Data-Lake-Lösung durch die Implementierung offener Tabellenformate, Sicherheitsmassnahmen und die Behebung häufiger Probleme. - Entwerfen und richten Sie ein Data Warehouse mit Amazon Redshift Serverless ein und machen Sie sich mit dessen Architektur, Datenerfassung, Verarbeitung und Bereitstellungsfunktionen vertraut. - Wenden Sie Techniken zur Leistungsoptimierung auf Data Warehouses in Amazon Redshift an, darunter Überwachung, Datenoptimierung, Abfrageoptimierung und Orchestrierung. - Verwalten Sie die Sicherheit und Zugriffskontrolle für Data Warehouses in Amazon Redshift und machen Sie sich mit Authentifizierung, Datensicherheit, Auditing und Compliance vertraut. - Entwerfen Sie effektive Batch-Datenpipelines unter Verwendung geeigneter AWS-Dienste für die Verarbeitung und Transformation von Daten. - Implementieren Sie umfassende Strategien für Batch-Datenpipelines, die die Datenverarbeitung, -transformation, -integration, -katalogisierung und -bereitstellung für die Nutzung abdecken. - Optimieren, koordinieren und sichern Sie Batch-Datenpipelines und demonstrieren Sie dabei fortgeschrittene Kenntnisse in den Bereichen Datenverarbeitungsautomatisierung und -sicherheit. - Entwickeln Sie Streaming-Datenpipelines, verstehen Sie verschiedene Anwendungsfälle, Erfassung, Speicherung, Verarbeitung und Analyse mithilfe von AWS-Diensten. - Optimierung und Sicherung von Streaming-Datenlösungen, einschliesslich Compliance-Aspekten und Zugriffskontrolle.Wir empfehlen, dass die Teilnehmer dieses Kurses über folgende Voraussetzungen verfügen: - Vertrautheit mit grundlegenden Konzepten des maschinellen Lernens, wie beispielsweise überwachtes und unüberwachtes Lernen, Regression, Klassifizierung und Clustering-Algorithmen. - Praktische Kenntnisse der Programmiersprache Python und gängiger Data-Science-Bibliotheken wie NumPy, Pandas und Scikit-learn. - Grundlegendes Verständnis der Cloud-Computing-Konzepte und Vertrautheit mit der AWS-Plattform. - Kenntnisse in SQL und relationalen Datenbanken sind empfehlenswert, aber nicht zwingend erforderlich. - Erfahrung mit Versionskontrollsystemen wie Git ist von Vorteil, aber nicht erforderlich.Dieser Kurs richtet sich an Fachleute, die sich für das Entwerfen, Erstellen, Optimieren und Sichern von Data-Engineering-Lösungen unter Verwendung von AWS-Diensten interessieren.Tag 1 Modul 1: Aufgabenbereiche und Schlüsselkonzepte im Bereich Data Engineering - Die Rolle eines Dateningenieurs - Wichtige Aufgaben eines Dateningenieurs - Daten Personen - Datenermittlung - AWS-Datendienste Modul 2: AWS-Tools und -Services für das Data Engineering - Orchestrierung und Automatisierung - Sicherheit im Bereich Datenverarbeitung - Überwachung - Kontinuierliche Integration und kontinuierliche Bereitstellung - Infrastruktur als Code - AWS Serverless-Anwendungsmodell - Überlegungen zum Netzwerk - Kostenoptimierungstools Modul 3: Entwurf und Implementierung von Data Lakes - Einführung in Data Lakes - Datenspeicher - Daten in einen Data Lake einlesen - Katalogdaten - Daten transformieren - Serverdaten für den Verbrauch Praktisches Labor: Einrichten eines Data Lake auf AWS Modul 4: Optimierung und Sicherung einer Data-Lake-Lösung - Formate für offene Tabellen - Sicherheit mit AWS Lake Formation - Festlegen von Berechtigungen mit Lake Formation - Sicherheit und Governance - Fehlerbehebung Praktisches Labor: Automatisierung der Erstellung von Data Lakes mit AWS Lake Formation Blueprints Tag 2 Modul 5: Architektur und Gestaltungsprinzipien von Data Warehouses - Einführung in Data Warehouses - Amazon Redshift – Übersicht - Daten in Redshift einlesen - Datenverarbeitung - Daten für den Verbrauch bereitstellen Praktisches Labor: Einrichten eines Data Warehouse mit Amazon Redshift Serverless Modul 6: Techniken zur Leistungsoptimierung für Data Warehouses - Überwachungs- und Optimierungsoptionen - Datenoptimierung in Amazon Redshift - Abfrageoptimierung in Amazon Redshift - Orchestrierungsoptionen Modul 7: Sicherheit und Zugriffskontrolle für Data Warehouses - Authentifizierung und Zugriffskontrolle in Amazon Redshift - Datensicherheit in Amazon Redshift - Auditierung und Compliance in Amazon Redshift Praktisches Labor: Verwaltung der Zugriffskontrolle in Redshift Modul 8: Entwerfen von Batch-Datenpipelines - Einführung in Batch-Datenpipelines - Entwurf einer Batch-Datenpipeline - AWS-Dienste für die Stapelverarbeitung von Daten Modul 9: Implementierung von Strategien für die Batch-Datenpipeline - Elemente einer Batch-Datenpipeline - Verarbeitung und Umwandlung von Daten - Integration und Katalogisierung Ihrer Daten - Daten für den Verbrauch bereitstellen Praktisches Labor: Ein Tag im Leben eines Dateningenieurs Tag drei Modul 10: Optimierung, Orchestrierung und Sicherung von Batch-Datenpipelines - Optimierung der Batch-Datenpipeline - Orchestrierung der Batch-Datenpipeline - Sicherung der Batch-Datenpipeline Praktisches Labor: Orchestrierung der Datenverarbeitung in Spark mithilfe von AWS Step Functions Modul 11: Architekturmuster für Streaming-Daten - Einführung in Streaming-Datenpipelines - Daten aus Stream-Quellen erfassen - Streaming-Datenaufnahmedienste - Speichern von Streaming-Daten - Verarbeitung von Streaming-Daten - Analyse von Streaming-Daten mit AWS-Services Praktisches Labor: Streaming-Analysen mit Amazon Managed Service für Apache Flink Modul 12: Optimierung und Sicherung von Streaming-Lösungen - Optimierung einer Streaming-Datenlösung - Sichern einer Streaming-Datenpipeline - Compliance-Überlegungen Praktisches Labor: Zugriffskontrolle mit Amazon Managed Streaming für Apache KafkaDieser Text wurde automatisiert übersetzt. Um den englischen Originaltext anzuzeigen, klicken Sie bitte hier.3 Tage2025.002795.002655.002550.001995.001995.001995.001995.001995.001995.001650.001750.00