Azure Data Factory – Integration Runtimes

Mapping Data Flows in ADF, Teil 2

In diesem Beitrag geht es um die Azure Data Factory Integration Runtimes (IR), welche für die Mapping Data Flows verwendet werden, um Datentransformationen auszuführen. Wie bereits im vorherigen Blogpost erwähnt, wird für die Ausführung der Data Flows ADF Spark verwendet, welches in virtuellen Maschinen (VM) läuft. Daher muss ich mir als User keinerlei Gedanken darüber machen, … weiterlesen…

Einleitung in die (Mapping) Data Flows der Azure Data Factory

titelbild-mapping-data-flows

Einleitung In dieser Blogreihe werde ich euch die Mapping Data Flows der Azure Data Factory (ADF) vorstellen, die mit der v2 verfügbar gemacht wurden. Während ich anfangs auf grundlegende Konzepte eingehen werde, werde ich in den folgenden Blog-Einträgen genauer auf einzelne Komponenten der Data Flows und darüber hinaus eingehen. Dazu gehören unter anderem die Funktionsweise und Features einzelner Data Flow Transformationen. Ich werde aber auch einen Blick hinter den Vorgang werfen und im Detail … weiterlesen…

Moderne ETL-Prozesse mit (Microsoft) Azure Data Factory

Am Abend des 24. April 2020 hatte die PASS-Regionalgruppe Mittelrhein zu einem Vortrag über die zeitgemäße Entwicklung moderner ETL-Prozesse mit Hilfe von Microsofts Azure Data Factory geladen. Die aktuelle Corona-Kriese zwang uns, diese Veranstaltung als Online-Event abzuhalten, was über das Videokonferenztool TEAMS sehr komfortable zu realisieren war. Sicher lag es nicht nur an der Möglichkeit dem Vortrag … weiterlesen…

Azure Data Factory (Teil 2)

In diesem Teil über die Azure Data Factory werde ich einiges über die Komponenten undihre Funktionsweise sowie Vergleichen zu SSIS und meinen anfänglichen Schwierigkeitenim Umgang mit der ADF erzählen. Bevor man allerdings in den Genuss kommt mit der ADFarbeiten zu können, muss diese zunächst im Azure-Portal angelegt werden. Erstellen einer Data Factory Das Erstellen einer … weiterlesen…

Azure Data Factory (Teil 1)

Womit arbeiten wir? Was wollen wir erreichen und wie soll das Endresultat aussehen? Nichts geht ohne Informationen. Sei es im Bereich Business Intelligence, Data Science, Machine Learning etc. Alles steht und fällt mit den Daten. Selbst, wenn es nur die simple Nachvollziehbarkeit einer Unternehmensentwicklung innerhalb eines bestimmten Zeitraums ist. Dabei ist das Ziel, diese Nachvollziehbarkeit … weiterlesen…

Was bedeutet eigentlich DevOps?

Um flexibel und schnell auf neue Geschäftsanforderungen reagieren zu können, brauchen wir eine bessere Zusammenarbeit von Entwicklung, Betrieb und auch Test. An dieser Stelle kommt das Kunstwort DevOps ins Spiel, welches sich aus den Begriffen „Development“ und „Operations“ zusammensetzt. Dieses Modell umschreibt, wie diese Zusammenarbeit erreicht werden kann. Dabei bilden die Menschen, und die Art und Weise … weiterlesen…

Eine Einführung in Azure Service Fabric

Die Azure Service Fabric ist das Resultat der langjährigen Erfahrung von Microsoft mit der Bereitstellung von Cloud-Diensten und hat sich seit dem Jahr 2010 bewährt. Dabei handelt es sich um das „Fundament“, auf dem Microsoft seine Azure Kerninfrastruktur und diverse Dienste wie bspw. Skype for Business, Cortana oder der Azure SQL-Datenbank aufbaut. Diese langjährige Erfahrung hat Microsoft in die … weiterlesen…

Azure Application Insights

Leiden Sie auch unter dem mangelnden Feedback der Anwender Ihrer Apps und erfahren wie ich nur über Umwege oder per Zufall, wie Ihre Produkte verwendet werden? Dann sollten Sie an dieser Stelle und erfahren Sie, wie Sie Ihre Anwendungen durch die Verwendung von Azure Application Insights ganz einfach beobachten können. Microsoft Azure ist eine ständig … weiterlesen…

Azure Data Lake

Azure Data Lake bietet eine Plattform an, in der sowohl Entwickler, als auch Data Scientists, große Datenmengen speichern und analysieren können. Dabei spielt das Format der Daten keine Rolle. Das alles hört sich zunächst nicht innovativ an, dennoch verfolgt Microsoft damit eine Vision: Azure Data Lake wird bildlich als Daten-See verstanden, der durch verschiedene Zuflüsse … weiterlesen…