ORCHESTRIERUNG VON PROZESSEN IN DER AWS FÜR EPRIMO
Optimierte Workflows und eine zentrale Steuerung von Prozessen mit Apache Airflow und AWS sorgen heute bei eprimo für mehr Transparenz und Effizienz.
Die Herausforderung von eprimo, komplexe und unübersichtliche Datenverarbeitungsprozesse zu bewältigen, konnten wir mit einer zentralen Prozesssteuerung in der AWS Cloud beheben. Eprimo ist dadurch heute in der Lage, Prozesse effizient zu verwalten, den Verwaltungsaufwand deutlich zu reduzieren und Kontrolle über hunderte Abläufe zu behalten.
THE FEEDBACK
Ohne die Kollegen von Five1 wäre es nur schwer möglich gewesen, Prozesse über 40 AWS Accounts hinweg zuverlässig und effizient zu managen. Diese Umgebung ist ein unverzichtbarer Teil unserer Geschäftstätigkeit.
Tomas Christ Lead Solution Architect AWS
THE CHALLENGE
Eprimo ist ein erfolgreicher deutscher Strom- und Gasanbieter mit einer breit aufgestellten Produktpalette. Um die bestmöglichen Angebote für die Kunden bereitzustellen, wird täglich eine große Anzahl an Daten aus unterschiedlichsten Quellen verarbeitet, welche die Grundlage für zielgerichtete Entscheidungen bieten.
Die Herausforderung besteht darin, die Daten mit geeigneten Tools zu prozessieren, zu konsolidieren, aufzubereiten und Analystenauswertungen möglich zu machen. Die dafür nötigen Prozessketten können sehr komplex werden, müssen jedoch gleichzeitig zuverlässig, übersichtlich und zentral gesteuert werden können.
Automatisierte Benachrichtigungen und Retries von Prozessen
Reduktion des Verwaltungsaufwands
THE SOLUTION
Um die Verfügbarkeit, Sicherheit und Übersicht über all diese Prozesse zu erlangen, nutzt eprimo Apache Airflow als zentrales Prozessorchestrierungstool. Ziel von Five1 war es, eprimo dabei zu unterstützen, dieses Setup erfolgreich in der AWS Cloud nutzen zu können.
Über den von AWS bereitgestellten Service MWAA (Managed Workflows for Apache Airflow) können jetzt die komplexen Business-relevanten Workflows auf einfache und übersichtliche Art und Weise verwaltet und gesteuert werden und liefern dadurch einen wicht gen Mehrwert im Unternehmen. Zudem bietet das Setup als Managed Service ein hohes Maß an Stabilität, Sicherheit und Verfügbarkeit. Dadurch kann der Verwaltungsaufwand deutlich reduziert und der Fokus auf die Implementierung neuer sowie auf die Weiterentwicklung bestehender Prozesse gelenkt werden.
TOOLS
Agiles Projektmanagement im SCRUM-Ansatz
AWS Managed Workflows for Apache Airflow (MWAA)
THE RESULT
Mit Airflow werden sowohl einfache Prozesse wie die tägliche Ausführung von PySpark-Skripten auf EMR Cluster, GlueJobs und Crawlern gestartet, als auch komplexe Prozessketten, die aus einer Vielzahl unterschiedlicher Daten verarbeitender Tasks bestehen, die in strengen Abhängigkeiten zueinanderstehen, gesteuert.
Des Weiteren unterstützt Five1 eprimo bei der Entwicklung maßgeschneiderter Airflow-Schnittstellen, welche die zielgenaue Interaktion mit verschiedensten Cloud-Services erlauben. Dadurch können alle relevanten Prozesse system- und organisationsübergreifend, schnell und zuverlässig über MWAA gesteuert werden.
Durch das effektive und effiziente Setup trägt MWAA nun jeden Tag entscheidend zum anhaltenden Erfolg von eprimo bei.
THE FEEDBACK
Auf persönlicher Ebene habe ich jeden Five1 Kollegen stets als freundlich, höflich, aufmerksam und intern loyal sowie Neuerungen gegenüber aufgeschlossen wahrgenommen. In der Persönlichkeit Ihrer Kollegen sowie deren Aufgeschlossenheit und Engagements zur Verwirklichung meiner Vision zur AWS-Umgebung der Zukunft liegen die Gründe, warum sich Five1 deutlich als Partner durchsetzen konnte.
