SUCCESS
STORY
ANALYTICS PLATFORM
FÜR EFFIZIENTE DATENVERARBEITUNG
Aufbau einer Datenplatform für reibungslose
Entwicklung und Automatisierung in der AWS Cloud.
Um effizient Mehrwert aus Daten ziehen zu können, müssen Analysten Zugang zu allen relevanten Datenquellen bekommen und mit den notwendigen Analytics Tools ausgestattet werden. Unser Kunde setzt bei der Lösung dieser Herausforderung auf die Skalierbarkeit und Kosteneffizienz der AWS Cloud und setzt eine maßgeschneiderte Analytics Plattform aus integrierten Cloud Services für die Datenhaltungen, Entwicklungsumgebungen für seine Analysten und produktive Job-Orchestrierung ein.
THE FEEDBACK
Durch unser Vorgehen als DevOps Team konnten wir sowohl eine erfolgreiche Lösung für den Kunden entwickeln und implementieren, als auch aktiv beim produktiven Einsatz dieser unterstützen und dadurch kontinuierlich zu weiteren Verbesserungen der Plattform beitragen.
Head of Cloud Data Architecture @Five1
THE CHALLENGE
Die Daten stammen dabei aus klassischen SAP-Systemen, aber es kommen auch zahlreiche externe Datenquellen und Anbieter hinzu, teils als Streaming Data. Diese Daten müssen tagesaktuell gesammelt und aufbereitet werden. Zukunftsorientiert möchte der Kunde auf mittelfristige Sicht mit der gleichen Plattform, neben klassischer Analytics, auch zu Advanced Analytics in der Lage sein, um Methoden aus dem Machine Learning einzusetzen.
KEY
BENEFITS
Einheitliche, moderne Entwicklungsumgebung
Kosteneffiziente Rechenleistung on-demand
Reibungslose Überführung in die Produktion
Flexibilität & Personalisierung durch self-service Ansatz
Kostengünstige und flexible Datenhaltung in einem Data Lake
THE SOLUTION
Um den Herausforderungen zu begegnen, wurde eine moderne Analytics Plattform in der AWS aufgebaut. Die Daten werden dabei über AWS Glue und AWS FireHose aus den verschiedenen Quellen (als Batch und als Stream) in einem S3 DataLake zusammengetragen. S3 ist ein sehr kosteneffizienter Speicher und Glue ermöglicht darüber hinaus das Metadatenmangement, wodurch der Zugriff auf die Daten für die Analysten erheblich vereinfacht wird.
Unser Kunde stellt seinen Analysten, mit Hilfe der Five1, individuelle, state-of-the -art AWS Sagemaker Entwicklungsumgebungen bereit. Um die Analysen schnell auf großen Datensätzen durchführen zu können, setzen die Sagemaker Instanzen auf AWS EMR Clustern auf, welche parallelisierbaren PySpark Code ausführen können. Um die Kosten so gering wie möglich zu halten, wird die Größe der EMR Cluster automatisch skaliert. Analysten können zudem ihre Instanzen und Cluster (dank der Flexibilität der Cloud) über ein Self-Service Portal nach Bedarf hoch- und runterfahren und nach ihren individuellen Bedürfnissen konfigurieren.
Die Orchestrierung der Jobs erfolgt über AWS MWAA und AWS Sagemaker bietet für die Zukunft die ideale Entwicklungsumgebung, um Machine Learning Algorithmen einzusetzen und erweitert die Analytics Möglichkeiten enorm gegenüber einfachen SQL-Abfragen.
TOOLS
AWS Sagemaker
AWS EMR & EMR Steps
AWS Lambda
THE RESULT
Mit AWS Sagemaker, AWS EMR, AWS CodeCommit und ihrer Anbindung an den Datalake in S3 können sich die Analysten unseres Kunden vollkommen auf die Daten und eine kontinuierliche Verbesserung der Prozesse konzentrieren, ohne durch uneinheitliche, veraltete oder langsame Prozesse, Hardware oder Programmen aufgehalten zu werden.
Unser Kunde ist heute mit einer Analytics Plattform in der AWS Cloud effizient und zukunftsorientiert aufgestellt. Die hohe Flexibilität durch Cloud Services werden es ihm ermöglichen, das Potenzial seiner Daten mit modernsten Analytics und ML Methoden ausschöpfen zu können.
Die Five1 hat die Bedürfnisse der Analysten und des Operationsteams verstanden und eine gemeinsame Plattform für ein reibungslosen Entwicklungs- und Betriebsablauf geschaffen.
THE FEEDBACK
Die Flexibilität der AWS Cloud hat es uns ermöglicht, den Mitarbeitern des Kunden eine leistungsstarke und auf ihre individuellen Bedürfnisse zugeschnittene Analytics Plattform zu geben. Durch den skalierbaren Einsatz leistungsstarker EMR Cluster kann dieser nun sowohl Zeit als auch Kosten sparen.
Data Science Consultant @ Five1