Beispiel zu Big Data

In der heutigen Welt spielt Big Data eine immer wichtigere Rolle. Aus diesem Grund konzentrieren wir uns auf diese Thematik. In vielseitigen Projekten erweitern wir unser Wissen stetig. Das folgende Beispiel erklärt eine mögliche Vorgehensweise.

Für ein Projekt eines großes Unternehmen aus der Medienwelt arbeiteten wir interne und externe Web-Server-Log-Daten auf. Dadurch wurde ein effektiveres „Targeting“ bei der Auslieferung von Werbemitteln erzielt. Pro identifiziertem Benutzer konnte danach eine Datenzeile mit diversen Ausprägungen ermittelt werden.

Wir haben die dabei stündlich erzeugten Dateien in einem lokalen Filesystem (HDFS) gespeichert. Von dort aus wurden sie in einzelnen Bearbeitungsschritten zusammengeführt und verarbeitet. Anschließend konnte unser Kunde entsprechende Analysen aus den Ergebnissen abrufen.

Für die technische Umsetzung nutzten wir eine Hortonworks Data Platform Lösung, da sie über eine Speichergröße von 120TB und 360GB RAM verfügt. Diese muss Berechnungen sowie Speicherzuwächse von etwa 70GB (komprimiert) pro Monat bewerkstelligen können.

Gerne beantworten wir Ihre Fragen und beraten Sie kompetent. Bei Bedarf senden wir Ihnen auch weitere Referenzen aus dem Bereich Big Data zu.