Beispiel zu Big Data

In der Unternehmenswelt spielt Big Data eine immer wichtigere Rolle. So hat sich auch die arelium GmbH diese Thematik als Kernkompetenz angeeignet.

Im Rahmen eines Business Intelligence Projektes für ein großes Medienunternehmen haben wir unsere Beratung für BIG DATA zur Verfügung gestellt.

Die Aufgabe bestand im Wesentlichen darin, sowohl interne als auch externe Web-Server-Log-Daten entsprechend zu verarbeiten, um ein effektiveres „Targeting“ bei der Auslieferung von Werbemittel zu erzielen. So kann pro identifiziertem Benutzer eine Datenzeile mit diversen Ausprägungen ermittelt werden.

Die dabei stündlich erzeugten Dateien wurden im lokalen Filesystem (HDFS) gespeichert. Von dort wurden diese in einzelnen Bearbeitungsschritten aggregiert und verarbeitet, um entsprechende Analysen aus den Ergebnissen zu fahren.

Die technische Umsetzung erfolgte auf einer Hortonworks Data Platform Lösung, welche über eine Speichergröße von 120TB und 360GB RAM verfügt. Diese Dimensionierung ist insofern notwendig, als dass sie rechenintensive Berechnungen sowie Speicherzuwächse von etwa 70GB (komprimiert) pro Monat bewerkstelligen muss.

Gerne stehen wir für Ihre Fragen und Anforderungen zur Verfügung und beraten Sie kompetent. Bei Bedarf senden wir Ihnen gerne weitere Referenzen aus dem Bereich Big Data zu.