Big Data Beratung

Kompetenz

Big Data hat sich als Schlagwort etabliert. Dabei möchten Daten aus immer mehr Quellen analysiert und verstanden werden. Im Grunde genommen liefert heute jede Maschine in irgendeiner Form Daten ab, die nützlich für Ihr Geschäft sein können. Dies zu verstehen und die Massen an Daten überhaupt nutzbar zu machen sind die aktuellen Herausforderungen von heute. Als Weiterentwicklung des Bereichs Business Intelligence gehört diese Kompetenz mit zu unseren Schwerpunkten. Wir sind Ihre Big Data Beratung im Rheinland.

Die 3 V’s des Big Data:

  1. Volume: Volume bezieht sich auf die Größe der Datenmengen, hierbei geht es nicht mehr um Gigabyte sondern um Terabyte und mehr.
  2. Velocity: Velocity bezieht sich auf die Änderungsrate der Daten und die Geschwindigkeit der Analyse.
  3. Variety: Mit Variety wird die Unterschiedlichkeit der Daten bezeichnet, hier geht es von Audiodateien über Videodateien bis zu simplen Textdateien.

Anforderungen:

Bei größeren Datenmengen haben Datenbanken auch andere Anforderungen. Moderne Webanwendungen mit einem großen Lastaufkommen und datenintensive Anwendungen im Rahmen des Cloud Computing stellen folgende besondere Anforderungen an die Datenhaltung:

  • Unnötige Komplexität vermeiden
  • Lauffähigkeit der Systeme auf gebräuchlicher Hardware
  • Hoher Datendurchsatz muss möglich sein
  • Hohe Verfügbarkeit des Systems
  • Gute, horizontale Skalierbarkeit

Referenz

In der heutigen Welt spielt Big Data eine immer wichtigere Rolle. Aus diesem Grund konzentrieren wir uns auf diese Thematik. In vielseitigen Projekten erweitern wir unser Wissen stetig. Das folgende Beispiel erklärt eine mögliche Vorgehensweise.

Für ein Projekt…

… eines großen Unternehmens aus der Medienwelt arbeiteten wir interne und externe Web-Server-Log-Daten auf. Dadurch wurde ein effektives „Targeting“ bei der Auslieferung von Werbemitteln ermöglicht. Pro identifiziertem Benutzer konnte danach eine Datenzeile mit diversen Ausprägungen ermittelt werden.

Wir haben die dabei stündlich erzeugten Dateien in einem lokalen Filesystem (HDFS) gespeichert. Von dort aus wurden sie in einzelnen Bearbeitungsschritten zusammengeführt und verarbeitet. Anschließend konnte unser Kunde entsprechende Analysen aus den Ergebnissen abrufen.

Technische Umsetzung:

Für die technische Umsetzung nutzten wir eine Hortonworks Data Platform Lösung, da sie über eine Speichergröße von 120TB und 360GB RAM verfügt. Diese muss Berechnungen sowie Speicherzuwächse von etwa 70GB (komprimiert) pro Monat bewerkstelligen können.

Gerne beantworten wir Ihre Fragen und beraten Sie kompetent. Bei Bedarf senden wir Ihnen auch weitere Referenzen aus dem Bereich Big Data zu.