{"course":{"productid":25495,"modality":1,"active":true,"language":"de","title":"Serverless Data Processing with Dataflow","productcode":"SDPF","vendorcode":"GO","vendorname":"Google","fullproductcode":"GO-SDPF","courseware":{"has_ekit":false,"has_printkit":true,"language":""},"url":"https:\/\/portal.flane.ch\/course\/google-sdpf","objective":"<ul>\n<li>Zeigen Sie, wie Apache Beam und Dataflow zusammenarbeiten, um die Datenverarbeitungsanforderungen Ihres Unternehmens zu erf&uuml;llen.<\/li><li>Fassen Sie die Vorteile des Beam Portability Frameworks zusammen und aktivieren Sie es f&uuml;r Ihre Dataflow-Pipelines.<\/li><li>Aktivieren Sie Shuffle und Streaming Engine f&uuml;r Batch- bzw. Streaming-Pipelines, um maximale Leistung zu erzielen.<\/li><li>Erm&ouml;glichen Sie eine flexible Ressourcenplanung f&uuml;r eine kosteneffizientere Leistung.<\/li><li>W&auml;hlen Sie die richtige Kombination von IAM-Berechtigungen f&uuml;r Ihren Dataflow-Auftrag.<\/li><li>Umsetzung bew&auml;hrter Verfahren f&uuml;r eine sichere Datenverarbeitungsumgebung.<\/li><li>W&auml;hlen Sie die E\/A Ihrer Wahl f&uuml;r Ihre Dataflow-Pipeline aus und stimmen Sie sie ab.<\/li><li>Verwenden Sie Schemata, um Ihren Beam-Code zu vereinfachen und die Leistung Ihrer Pipeline zu verbessern.<\/li><li>Entwickeln Sie eine Beam-Pipeline mit SQL und DataFrames.<\/li><li>&Uuml;berwachung, Fehlerbehebung, Tests und CI\/CD f&uuml;r Dataflow-Pipelines.<\/li><\/ul>","essentials":"<p>Um diesen Kurs optimal nutzen zu k&ouml;nnen, sollten die Teilnehmer die folgenden Kurse absolviert haben:<\/p>\n<ul>\n<li>Building Batch Data Pipelines<\/li><li>Building Resilient Streaming Analytics Systems<\/li><\/ul>","audience":"<ul>\n<li>Dateningenieure.<\/li><li>Datenanalysten und Datenwissenschaftler, die ihre F&auml;higkeiten im Bereich Data Engineering ausbauen m&ouml;chten<\/li><\/ul>","outline":"<h5>Modul 1: Einf&uuml;hrung<\/h5><ul>\n<li>Stellen Sie die Kursziele vor.<\/li><li>Zeigen Sie, wie Apache Beam und Dataflow zusammenarbeiten, um die Datenverarbeitungsanforderungen Ihres Unternehmens zu erf&uuml;llen.<\/li><\/ul><h5>Modul 2: &Uuml;bertragbarkeit von Strahlen<\/h5><ul>\n<li>Fassen Sie die Vorteile des Beam Portability Framework zusammen.<\/li><li>Passen Sie die Datenverarbeitungsumgebung Ihrer Pipeline mithilfe benutzerdefinierter Container an.<\/li><li>&Uuml;berpr&uuml;fung der Anwendungsf&auml;lle f&uuml;r sprach&uuml;bergreifende Transformationen.<\/li><li>Aktivieren Sie das Portability Framework f&uuml;r Ihre Dataflow-Pipelines.<\/li><\/ul><h5>Modul 3: Trennung von Datenverarbeitung und Speicherung mit Dataflow<\/h5><ul>\n<li>Aktivieren Sie Shuffle und Streaming Engine f&uuml;r Batch- bzw. Streaming-Pipelines, um maximale Leistung zu erzielen.<\/li><li>Erm&ouml;glichen Sie eine flexible Ressourcenplanung f&uuml;r eine kosteneffizientere Leistung.<\/li><\/ul><h5>Modul 4: IAM, Kontingente und Berechtigungen<\/h5><ul>\n<li>W&auml;hlen Sie die richtige Kombination von IAM-Berechtigungen f&uuml;r Ihren Dataflow-Auftrag.<\/li><li>Ermitteln Sie Ihren Kapazit&auml;tsbedarf, indem Sie die entsprechenden Quoten f&uuml;r Ihre Dataflow-Jobs &uuml;berpr&uuml;fen.<\/li><\/ul><h5>Modul 5: Sicherheit<\/h5><ul>\n<li>W&auml;hlen Sie Ihre zonale Datenverarbeitungsstrategie mit Dataflow, je nach Ihren Anforderungen an die Datenlokalisierung.<\/li><li>Umsetzung bew&auml;hrter Verfahren f&uuml;r eine sichere Datenverarbeitungsumgebung.<\/li><\/ul><h5>Modul 6: Wiederholung von Strahlenkonzepten<\/h5><ul>\n<li>&Uuml;berpr&uuml;fung der wichtigsten Konzepte von Apache Beam (Pipeline, PCollections, PTransforms, Runner, Lesen\/Schreiben, Utility PTransforms, Side Inputs), Bundles und DoFn Lifecycle.<\/li><\/ul><h5>Modul 7: Fenster, Wasserzeichen, Ausl&ouml;ser<\/h5><ul>\n<li>Implementieren Sie eine Logik zur Verarbeitung Ihrer versp&auml;teten Daten.<\/li><li>&Uuml;berpr&uuml;fen Sie die verschiedenen Arten von Ausl&ouml;sern.<\/li><li>&Uuml;berpr&uuml;fung der wichtigsten Streaming-Konzepte (unbeschr&auml;nkte PCollections, Fenster).<\/li><\/ul><h5>Modul 8: Quellen und Senken<\/h5><ul>\n<li>Schreiben Sie die E\/A Ihrer Wahl f&uuml;r Ihre Dataflow-Pipeline.<\/li><li>Stimmen Sie Ihre Quelle\/Senke-Transformation f&uuml;r maximale Leistung ab.<\/li><li>Benutzerdefinierte Quellen und Senken mit SDF erstellen.<\/li><\/ul><h5>Modul 9: Schemata<\/h5><ul>\n<li>Einf&uuml;hrung von Schemata, die Entwicklern eine M&ouml;glichkeit bieten, strukturierte Daten in ihren Beam-Pipelines auszudr&uuml;cken.<\/li><li>Verwenden Sie Schemata, um Ihren Beam-Code zu vereinfachen und die Leistung Ihrer Pipeline zu verbessern.<\/li><\/ul><h5>Modul 10: Zustand und Zeitgeber<\/h5><ul>\n<li>Ermittlung von Anwendungsf&auml;llen f&uuml;r die Implementierung von Status- und Zeitgeber-APIs.<\/li><li>W&auml;hlen Sie den richtigen Typ von Status und Zeitgebern f&uuml;r Ihre Pipeline.<\/li><\/ul><h5>Modul 11: Bew&auml;hrte Praktiken<\/h5><ul>\n<li>Implementierung bew&auml;hrter Verfahren f&uuml;r Dataflow-Pipelines.<\/li><\/ul><h5>Modul 12: Datenfluss-SQL und DataFrames<\/h5><ul>\n<li>Entwickeln Sie eine Beam-Pipeline mit SQL und DataFrames.<\/li><\/ul><h5>Modul 13: Beam Notebooks<\/h5><ul>\n<li>Prototyping Ihrer Pipeline in Python mit Beam-Notebooks.<\/li><li>Verwenden Sie Beam-Magie, um das Verhalten der Quellenaufzeichnung in Ihrem Notebook zu steuern.<\/li><li>Starten Sie einen Auftrag in Dataflow von einem Notebook aus.<\/li><\/ul><h5>Modul 14: &Uuml;berwachung<\/h5><ul>\n<li>Navigieren Sie durch die Benutzeroberfl&auml;che der Dataflow-Auftragsdetails.<\/li><li>Interpretieren Sie Job-Metrics-Diagramme, um Regressionen in der Pipeline zu diagnostizieren.<\/li><li>Setzen Sie Alarme f&uuml;r Dataflow-Auftr&auml;ge mit Cloud Monitoring.<\/li><\/ul><h5>Modul 15: Protokollierung und Fehlerberichterstattung<\/h5><ul>\n<li>Verwenden Sie die Dataflow-Protokolle und Diagnose-Widgets, um Probleme in der Pipeline zu beheben.<\/li><\/ul><h5>Modul 16: Fehlersuche und Fehlerbehebung<\/h5><ul>\n<li>Verwenden Sie einen strukturierten Ansatz zum Debuggen Ihrer Dataflow-Pipelines.<\/li><li>Untersuchen Sie die h&auml;ufigsten Ursachen f&uuml;r Rohrleitungsausf&auml;lle.<\/li><\/ul><h5>Modul 17: Leistung<\/h5><ul>\n<li>Verstehen Sie Leistungs&uuml;berlegungen f&uuml;r Pipelines.<\/li><li>&Uuml;berlegen Sie, wie sich die Form Ihrer Daten auf die Leistung der Pipeline auswirken kann.<\/li><\/ul><h5>Modul 18: Testen und CI\/CD<\/h5><ul>\n<li>Testans&auml;tze f&uuml;r Ihre Dataflow-Pipeline.<\/li><li>Pr&uuml;fen Sie die verf&uuml;gbaren Frameworks und Funktionen, um Ihren CI\/CD-Workflow f&uuml;r Dataflow-Pipelines zu optimieren.<\/li><\/ul><h5>Modul 19: Verl&auml;sslichkeit<\/h5><ul>\n<li>Implementieren Sie Best Practices f&uuml;r die Zuverl&auml;ssigkeit Ihrer Dataflow-Pipelines.<\/li><\/ul><h5>Modul 20: Flex-Vorlagen<\/h5><ul>\n<li>Verwendung von Flex-Vorlagen zur Standardisierung und Wiederverwendung von Dataflow-Pipeline-Code.<\/li><\/ul><h5>Modul 21: Zusammenfassung<\/h5><ul>\n<li>Zusammenfassung.<\/li><\/ul>","comments":"<p><em>Dieser Text wurde automatisiert &uuml;bersetzt. Um den englischen Originaltext anzuzeigen, klicken Sie bitte <span class=\"cms-link-marked\"><a class=\"fl-href-prod\" href=\"\/swisscom\/en\/course\/google-sdpf\"><svg role=\"img\" aria-hidden=\"true\" focusable=\"false\" data-nosnippet class=\"cms-linkmark\"><use xlink:href=\"\/css\/img\/icnset-linkmarks.svg#linkmark\"><\/use><\/svg>hier<\/a><\/span>.<\/em><\/p>","summary":"<p>Diese Schulung richtet sich an Big-Data-Experten, die ihr Verst&auml;ndnis von Dataflow vertiefen m&ouml;chten, um ihre Datenverarbeitungsanwendungen voranzubringen. Beginnend mit den Grundlagen wird erkl&auml;rt, wie Apache Beam und Dataflow zusammenarbeiten, um Ihre Datenverarbeitungsanforderungen zu erf&uuml;llen, ohne das Risiko einer Anbieterbindung einzugehen. Der Abschnitt &uuml;ber die Entwicklung von Pipelines behandelt, wie Sie Ihre Gesch&auml;ftslogik in Datenverarbeitungsanwendungen umwandeln, die auf Dataflow laufen k&ouml;nnen. Die Schulung endet mit einem Schwerpunkt auf dem Betrieb, in dem die wichtigsten Lektionen f&uuml;r den Betrieb einer Datenanwendung auf Dataflow, einschliesslich &Uuml;berwachung, Fehlerbehebung, Testen und Zuverl&auml;ssigkeit, behandelt werden.<\/p>","objective_plain":"- Zeigen Sie, wie Apache Beam und Dataflow zusammenarbeiten, um die Datenverarbeitungsanforderungen Ihres Unternehmens zu erf\u00fcllen.\n- Fassen Sie die Vorteile des Beam Portability Frameworks zusammen und aktivieren Sie es f\u00fcr Ihre Dataflow-Pipelines.\n- Aktivieren Sie Shuffle und Streaming Engine f\u00fcr Batch- bzw. Streaming-Pipelines, um maximale Leistung zu erzielen.\n- Erm\u00f6glichen Sie eine flexible Ressourcenplanung f\u00fcr eine kosteneffizientere Leistung.\n- W\u00e4hlen Sie die richtige Kombination von IAM-Berechtigungen f\u00fcr Ihren Dataflow-Auftrag.\n- Umsetzung bew\u00e4hrter Verfahren f\u00fcr eine sichere Datenverarbeitungsumgebung.\n- W\u00e4hlen Sie die E\/A Ihrer Wahl f\u00fcr Ihre Dataflow-Pipeline aus und stimmen Sie sie ab.\n- Verwenden Sie Schemata, um Ihren Beam-Code zu vereinfachen und die Leistung Ihrer Pipeline zu verbessern.\n- Entwickeln Sie eine Beam-Pipeline mit SQL und DataFrames.\n- \u00dcberwachung, Fehlerbehebung, Tests und CI\/CD f\u00fcr Dataflow-Pipelines.","essentials_plain":"Um diesen Kurs optimal nutzen zu k\u00f6nnen, sollten die Teilnehmer die folgenden Kurse absolviert haben:\n\n\n- Building Batch Data Pipelines\n- Building Resilient Streaming Analytics Systems","audience_plain":"- Dateningenieure.\n- Datenanalysten und Datenwissenschaftler, die ihre F\u00e4higkeiten im Bereich Data Engineering ausbauen m\u00f6chten","outline_plain":"Modul 1: Einf\u00fchrung\n\n\n- Stellen Sie die Kursziele vor.\n- Zeigen Sie, wie Apache Beam und Dataflow zusammenarbeiten, um die Datenverarbeitungsanforderungen Ihres Unternehmens zu erf\u00fcllen.\nModul 2: \u00dcbertragbarkeit von Strahlen\n\n\n- Fassen Sie die Vorteile des Beam Portability Framework zusammen.\n- Passen Sie die Datenverarbeitungsumgebung Ihrer Pipeline mithilfe benutzerdefinierter Container an.\n- \u00dcberpr\u00fcfung der Anwendungsf\u00e4lle f\u00fcr sprach\u00fcbergreifende Transformationen.\n- Aktivieren Sie das Portability Framework f\u00fcr Ihre Dataflow-Pipelines.\nModul 3: Trennung von Datenverarbeitung und Speicherung mit Dataflow\n\n\n- Aktivieren Sie Shuffle und Streaming Engine f\u00fcr Batch- bzw. Streaming-Pipelines, um maximale Leistung zu erzielen.\n- Erm\u00f6glichen Sie eine flexible Ressourcenplanung f\u00fcr eine kosteneffizientere Leistung.\nModul 4: IAM, Kontingente und Berechtigungen\n\n\n- W\u00e4hlen Sie die richtige Kombination von IAM-Berechtigungen f\u00fcr Ihren Dataflow-Auftrag.\n- Ermitteln Sie Ihren Kapazit\u00e4tsbedarf, indem Sie die entsprechenden Quoten f\u00fcr Ihre Dataflow-Jobs \u00fcberpr\u00fcfen.\nModul 5: Sicherheit\n\n\n- W\u00e4hlen Sie Ihre zonale Datenverarbeitungsstrategie mit Dataflow, je nach Ihren Anforderungen an die Datenlokalisierung.\n- Umsetzung bew\u00e4hrter Verfahren f\u00fcr eine sichere Datenverarbeitungsumgebung.\nModul 6: Wiederholung von Strahlenkonzepten\n\n\n- \u00dcberpr\u00fcfung der wichtigsten Konzepte von Apache Beam (Pipeline, PCollections, PTransforms, Runner, Lesen\/Schreiben, Utility PTransforms, Side Inputs), Bundles und DoFn Lifecycle.\nModul 7: Fenster, Wasserzeichen, Ausl\u00f6ser\n\n\n- Implementieren Sie eine Logik zur Verarbeitung Ihrer versp\u00e4teten Daten.\n- \u00dcberpr\u00fcfen Sie die verschiedenen Arten von Ausl\u00f6sern.\n- \u00dcberpr\u00fcfung der wichtigsten Streaming-Konzepte (unbeschr\u00e4nkte PCollections, Fenster).\nModul 8: Quellen und Senken\n\n\n- Schreiben Sie die E\/A Ihrer Wahl f\u00fcr Ihre Dataflow-Pipeline.\n- Stimmen Sie Ihre Quelle\/Senke-Transformation f\u00fcr maximale Leistung ab.\n- Benutzerdefinierte Quellen und Senken mit SDF erstellen.\nModul 9: Schemata\n\n\n- Einf\u00fchrung von Schemata, die Entwicklern eine M\u00f6glichkeit bieten, strukturierte Daten in ihren Beam-Pipelines auszudr\u00fccken.\n- Verwenden Sie Schemata, um Ihren Beam-Code zu vereinfachen und die Leistung Ihrer Pipeline zu verbessern.\nModul 10: Zustand und Zeitgeber\n\n\n- Ermittlung von Anwendungsf\u00e4llen f\u00fcr die Implementierung von Status- und Zeitgeber-APIs.\n- W\u00e4hlen Sie den richtigen Typ von Status und Zeitgebern f\u00fcr Ihre Pipeline.\nModul 11: Bew\u00e4hrte Praktiken\n\n\n- Implementierung bew\u00e4hrter Verfahren f\u00fcr Dataflow-Pipelines.\nModul 12: Datenfluss-SQL und DataFrames\n\n\n- Entwickeln Sie eine Beam-Pipeline mit SQL und DataFrames.\nModul 13: Beam Notebooks\n\n\n- Prototyping Ihrer Pipeline in Python mit Beam-Notebooks.\n- Verwenden Sie Beam-Magie, um das Verhalten der Quellenaufzeichnung in Ihrem Notebook zu steuern.\n- Starten Sie einen Auftrag in Dataflow von einem Notebook aus.\nModul 14: \u00dcberwachung\n\n\n- Navigieren Sie durch die Benutzeroberfl\u00e4che der Dataflow-Auftragsdetails.\n- Interpretieren Sie Job-Metrics-Diagramme, um Regressionen in der Pipeline zu diagnostizieren.\n- Setzen Sie Alarme f\u00fcr Dataflow-Auftr\u00e4ge mit Cloud Monitoring.\nModul 15: Protokollierung und Fehlerberichterstattung\n\n\n- Verwenden Sie die Dataflow-Protokolle und Diagnose-Widgets, um Probleme in der Pipeline zu beheben.\nModul 16: Fehlersuche und Fehlerbehebung\n\n\n- Verwenden Sie einen strukturierten Ansatz zum Debuggen Ihrer Dataflow-Pipelines.\n- Untersuchen Sie die h\u00e4ufigsten Ursachen f\u00fcr Rohrleitungsausf\u00e4lle.\nModul 17: Leistung\n\n\n- Verstehen Sie Leistungs\u00fcberlegungen f\u00fcr Pipelines.\n- \u00dcberlegen Sie, wie sich die Form Ihrer Daten auf die Leistung der Pipeline auswirken kann.\nModul 18: Testen und CI\/CD\n\n\n- Testans\u00e4tze f\u00fcr Ihre Dataflow-Pipeline.\n- Pr\u00fcfen Sie die verf\u00fcgbaren Frameworks und Funktionen, um Ihren CI\/CD-Workflow f\u00fcr Dataflow-Pipelines zu optimieren.\nModul 19: Verl\u00e4sslichkeit\n\n\n- Implementieren Sie Best Practices f\u00fcr die Zuverl\u00e4ssigkeit Ihrer Dataflow-Pipelines.\nModul 20: Flex-Vorlagen\n\n\n- Verwendung von Flex-Vorlagen zur Standardisierung und Wiederverwendung von Dataflow-Pipeline-Code.\nModul 21: Zusammenfassung\n\n\n- Zusammenfassung.","comments_plain":"Dieser Text wurde automatisiert \u00fcbersetzt. Um den englischen Originaltext anzuzeigen, klicken Sie bitte hier.","summary_plain":"Diese Schulung richtet sich an Big-Data-Experten, die ihr Verst\u00e4ndnis von Dataflow vertiefen m\u00f6chten, um ihre Datenverarbeitungsanwendungen voranzubringen. Beginnend mit den Grundlagen wird erkl\u00e4rt, wie Apache Beam und Dataflow zusammenarbeiten, um Ihre Datenverarbeitungsanforderungen zu erf\u00fcllen, ohne das Risiko einer Anbieterbindung einzugehen. Der Abschnitt \u00fcber die Entwicklung von Pipelines behandelt, wie Sie Ihre Gesch\u00e4ftslogik in Datenverarbeitungsanwendungen umwandeln, die auf Dataflow laufen k\u00f6nnen. Die Schulung endet mit einem Schwerpunkt auf dem Betrieb, in dem die wichtigsten Lektionen f\u00fcr den Betrieb einer Datenanwendung auf Dataflow, einschliesslich \u00dcberwachung, Fehlerbehebung, Testen und Zuverl\u00e4ssigkeit, behandelt werden.","skill_level":"Intermediate","version":"1.0","duration":{"unit":"d","value":3,"formatted":"3 Tage"},"pricelist":{"List Price":{"DE":{"country":"DE","currency":"EUR","taxrate":19,"price":1950},"US":{"country":"US","currency":"USD","taxrate":null,"price":1995},"CH":{"country":"CH","currency":"CHF","taxrate":8.1,"price":2220},"AT":{"country":"AT","currency":"EUR","taxrate":20,"price":1950},"IT":{"country":"IT","currency":"EUR","taxrate":20,"price":1950},"GB":{"country":"GB","currency":"GBP","taxrate":20,"price":1980},"IL":{"country":"IL","currency":"ILS","taxrate":17,"price":6770},"BE":{"country":"BE","currency":"EUR","taxrate":21,"price":2095},"NL":{"country":"NL","currency":"EUR","taxrate":21,"price":2095},"GR":{"country":"GR","currency":"EUR","taxrate":null,"price":2050},"MK":{"country":"MK","currency":"EUR","taxrate":null,"price":2050},"HU":{"country":"HU","currency":"EUR","taxrate":20,"price":2050},"SI":{"country":"SI","currency":"EUR","taxrate":20,"price":1950},"CA":{"country":"CA","currency":"CAD","taxrate":null,"price":2755},"FR":{"country":"FR","currency":"EUR","taxrate":19.6,"price":2450}}},"lastchanged":"2025-09-30T15:14:28+02:00","parenturl":"https:\/\/portal.flane.ch\/swisscom\/json-courses","nexturl_course_schedule":"https:\/\/portal.flane.ch\/swisscom\/json-course-schedule\/25495","source_lang":"de","source":"https:\/\/portal.flane.ch\/swisscom\/json-course\/google-sdpf"}}