Eine Analytics Plattform für reibungslose Entwicklung und Automatisierung in der AWS

Um effizient Mehrwert aus Daten ziehen zu können, müssen Analysten Zugang zu allen relevanten Datenquellen bekommen und mit den notwendigen Analytics Tools ausgestattet werden. Unser Kunde setzt bei der Lösung dieser Herausforderung auf die Skalierbarkeit und Kosteneffizienz der AWS Cloud und setzt eine maßgeschneiderte Analytics Plattform aus integrierten Cloud Services für die Datenhaltungen, Entwicklungsumgebungen für seine  Analysten und produktive Job-Orchestrierung ein.

Wie es unseren Data Infrastructure Experten gelungen ist, eine solche Analytics Plattform aufzubauen, erfahren Sie in dieser Success Story. 

Mit einem Klick zur Story


Herausforderung

Unser Kunde ist ein erfolgreicher Strom- und Gasanbieter mit einer breit aufgestellten Produktpalette. Um die Angebote für seine Kunden stetig zu verbessern, müssen täglich eine Anzahl von Daten aus verschiedensten Quellen verarbeitet, aufbereitet und mit immer komplexeren Verfahren analysiert werden. Die Herausforderung bestand darin, den Datenanalysten unkomplizierten Zugang zu den Daten zu ermöglichen und ihnen eine  rechenstarke und moderne Entwicklungsumgebung bereitzustellen. Zugleich muss der Übergang von der Entwicklungs- in die Produktionsumgebung schnell, standardisiert und sicher sein, um kontinuierliche bestehende Prozesse zu verbessern.

Die Daten stammen dabei aus klassischen SAP-Systemen, aber es kommen auch zahlreiche externe Datenquellen und Anbieter hinzu, teils als Streaming Data. Diese Daten müssen tagesaktuell gesammelt und aufbereitet werden. Zukunftsorientiert möchte der Kunde auf mittelfristige Sicht mit der gleichen Plattform, neben klassischer Analytics, auch zu Advanced Analytics in der Lage sein, um Methoden aus dem Machine Learning einzusetzen.

Durch unser Vorgehen als DevOps Team konnten wir sowohl eine erfolgreiche Lösung für den Kunden entwickeln und implementieren, als auch ihn aktiv beim produktiven Einsatz dieser unterstützen; Und dadurch kontinuierlich zu weiteren Verbesserungen der Plattform beitragen. 

Robert Polwin, Head of Big Data Science at Five1

 

Die Lösung 

Um den Herausforderungen zu begegnen, wurde eine moderne Analytics Plattform in der AWS aufgebaut. Die Daten werden dabei über AWS Glue und AWS FireHose aus den verschiedenen Quellen (als Batch und als Stream) in einem S3 DataLake zusammengetragen. S3 ist ein sehr kosteneffizienter Speicher und Glue ermöglicht darüber hinaus das Metadatenmangement, wodurch der Zugriff auf die Daten für die Analysten erheblich vereinfacht wird.

Unser Kunde stellt seinen Analysten, mit Hilfe der Five1, individuelle, state-of-the -art AWS Sagemaker Entwicklungsumgebungen bereit. Um die Analysen schnell auf großen Datensätzen durchführen zu können setzen die Sagemaker Instanzen auf AWS EMR Clustern auf, welche parallelisierbaren PySpark Code ausführen können. Um die Kosten so  gering wie möglich zu halten, wird die Größe der EMR Cluster automatisch skaliert. Analysten können zudem ihre Instanzen und Cluster (Dank der Flexibilität der Cloud) über ein Self-Service Portal nach Bedarf hoch- und runter- fahren und nach ihren individuellen Bedürfnissen konfigurieren.

Die Orchestrierung der Jobs erfolgt über AWS MWAA und AWS Sagemaker bietet für die Zukunft die Ideale Entwicklungsumgebung, um Machine Learning Algorithmen einzusetzen und erweitert die Analytics Möglichkeiten enorm gegenüber einfachen SQL-Abfragen. 

Die Flexibilität der AWS Cloud hat es uns ermöglicht, den Mitarbeitern des Kunden eine leistungsstarke und auf ihre individuellen Bedürfnisse zugeschnittene Analytics Plattform zu geben. Durch den skalierbaren Einsatz leistungsstarker EMR Cluster kann dieser nun sowohl Zeit als auch Kosten sparen.

Michael Gabel, Data Science Consultant at Five1

 

Das Ergebnis

Mit AWS Sagemaker, AWS EMR, AWS CodeCommit und ihrer Anbindung an den Datalake in S3 können sich die Analysten unseres Kunden vollkommen auf die Daten und eine  kontinuierliche Verbesserung der Prozesse konzentrieren, ohne durch uneinheitliche, veraltete oder langsame Prozesse, Hardware oder Programmen aufgehalten zu werden.

Unser Kunde ist heute mit einer Analytics Plattform in der AWS Cloud effizient und zukunftsorientiert aufgestellt. Die hohe Flexibilität durch Cloud Services werden es ihm ermöglichen das Potential seiner Daten mit modernsten Analytics und ML Methoden ausschöpfen zu können.

Die Five1 hat die Bedürfnisse der Analysten und des Operationsteams verstanden und eine gemeinsame Plattform für ein reibungslosen Entwicklungs- und Betriebsablauf geschaffen. 

Die vollständige Story lesen Sie auch im kostenlosen Download!

Sie stehen vor einer ähnlichen Herausforderung wie unser Kunde ? Kontaktieren Sie uns für einen unverbindlichen Austausch!
Hector Hiss+TextWas können wir für Sie tun?