AWS Glue ist die integrierte Lösung, um einen Data Hub bzw. einen Data Lake sinnvoll nutzbar zu machen.
Mit AWS EMR ist es ganz einfach, ein Hadoop- oder Spark-System zu beginnen und in die Welt von Big Data einzusteigen. Analysen sind endlich einfach durchführbar.
AWS Athena ist die Schnittstelle für Fachbereich und Analysten in die Big Data-Welt.
Funktionen wie MySQL und PostgreSQL, aber die Performance und Sicherheit einer Enterprise Datenbank
AWS Glue ist mehr als nur Serverless. AWS Glue ist die integrierte Lösung, um einen Data Hub bzw. einen Data Lake sinnvoll nutzbar zu machen. Dabei spielen zwei Hauptkomponenten eine entscheidende Rolle: der Glue Data Catalog und die Glue Crawler.
Der Cralwler erkennt viele Datenstrukturen automatisch und legt diese Metainfo im Glue Data Catalog ab. Die Daten werden hier in Datenbanken und Tabellen organisiert und können mit Fachwissen angereichert werden. So kann man die unstrukturierte Welt leicht nutzbar machen und die Arbeitsgeschwindigkeit von Analysten, Entwicklern und Fachbereich erhöhen. Entwickler suchen nicht lange nach Daten und deren Strukturen. Analysten haben kaum noch Größenbeschränkungen in den Daten und können diese schnell zusammenführen. Der Fachbereich bekommt die Möglichkeit, mit Excel Auswertungen auf Basis von inhomogenen und großen Datensätzen auszuführen.
Aufbau von Datenkatalogen mit AWS Glue Datacatalog für einen Datahub
Transformation von SAP-Rohdaten zur Weiterverwendung
Nutzung des Glue Datacatalogs als Metadatastore für Sagemaker und Zeppelin Notebooks
Custom Crawler für nested JSON zur Vereinfachung von komplexen Abfragen
AWS EMR basiert auf Hadoop und Spark – die Technologien zum Verarbeiten von großen Datenmengen! Wenn Sie schon einmal ein Hadoop-System Inhouse aufgesetzt haben, wissen Sie wie hoch der Wartungsaufwand ist. Jetzt ist es mit AWS EMR ganz einfach ein Hadoop-/Spark-System zu starten und Big Data zu analysieren. Wenn die Analysen abgeschlossen sind, wird das System abgeschaltet und der Kostenzähler hört auf zu rechnen. Das ganze haben wir für Kunden so automatisiert und verwendet, dass es einfach ist Analysten mit eigenen Clustern auszustatten und produktive Workloads auf stabile Cluster zu deployen – verschlüsselt in rest und in transit.
Auf AWS EMR können verschiedene Tools installiert werden: Unter anderem Zeppelin als Analyseumgebung, Sagemaker als Machine Learning-Umgebung, Presto als Schnittstelle in den Fachbereichen, um einfache SQL Querys auszuführen. Oder ganz Traditionell als Basis für komplexe Spark- und Hadoop-Programme – nur ohne den enormen Wartungsaufwand.
Aufbau der Infrastruktur für Anwendungen im Big Data Analytics-Umfeld inklusive der Anbindung der SAP on-premises Systemlandschaft
Big Data Analytics Workbench on AWS EMR für Analysten mit Überführung der Analysen in den produktiven Betrieb
Verarbeitung von Marktdaten
(70GB pro Tag)
Performance Tuning mit Pandas UDF - Schnelligkeit für komplexe Logik
AWS Athena ist die Schnittstelle von Fachbereichen und Analysten in die Big Data-Welt. Mittels SQL-Abfragen können komplexe Logiken auf inhomogene (relationale sowie nichtrelationale) und große Daten angewendet werden. AWS Athena bietet via ODBC/JDBC die Möglichkeit, Excel, Tableau, R und andere Tools als Frontend zu verwenden, ohne eine überforderte Datenbank im Hintergrund zu haben.
Kundenwertanalysen mit Excelintegration
Datenqualität-Dashboards eines Data Lakes
Sensordatenanalytik mit AWS Quicksight und Athena für analytische Abfragen
Sie wollen die Funktionen von Datenbanken wie MySQL und PostgreSQL, aber die Performance und Sicherheit einer Enterprise Datenbank?
Dann ist AWS Aurora vielleicht genau der richtige Datenbankservice für Sie. Egal ob Datensicherheit, Speichergröße oder Durchsatz. Außerdem hat AWS mit Aurora Serverless ein Tool im Angebot, das Sie einsetzen können, wenn Sie eine Datenbank brauchen, deren Workloads automatisch angepasst werden - und zwar ganz ohne Downtime.
Aurora als Analyitcal Workbench für Forecasting mit mehr als 1 Terrabyte an Daten
Aurora als Datenbank-Backend für Airflow Scheduling Systeme
Aurora als Propagation Layer von Analyseergebnissen mit Excel Integration
Wir bieten unseren Kunden und Interessenten eine Reihe von hochwertigen Workshops und Trainingsprogrammen an. Ausführliche Informationen können Sie ganz unverbindlich auf Anfrage erhalten.
-
2-Tages-Workshop zur AWS Glue
-
3-Tages-Workshop zu AWS Glue und AWS EMR
-
Einführungs-Workshop für Fachbereiche in AWS Athena und Big Data Analytics
Partnerschaftliche Zusammenarbeit mit unseren Kunden ist selbstverständlich. Partnerschaften mit Softwareherstellern sind darüber hinaus ein Zeichen von Qualität und Know-how. Darauf sind wir stolz!
Five1 GmbH - Member of the BTC Group
Clara-Immerwahr-Straße 2
69126 Heidelberg
Kontakt
info@five1.de
(+49) 6221 / 3929169
Menü