Azure Data Factory (Teil 3)

azure-data-factory-blog-titelbild

Data Flows Im letzten Beitrag zur Azure Data Factory habe ich über die ein oder anderen Komponenten der ADF berichtet. Da ich den letzten Beitrag mit den DataFlows beendet habe, werde ich in dem jetzigen genau dort anknüpfen und etwas mehr ins Detail gehen.   Data Flow Arten Beim Anlegen eines Data Flows erscheint ein neues … weiterlesen…

Einleitung in die (Mapping) Data Flows der Azure Data Factory

titelbild-mapping-data-flows

Einleitung In dieser Blogreihe werde ich euch die Mapping Data Flows der Azure Data Factory (ADF) vorstellen, die mit der v2 verfügbar gemacht wurden. Während ich anfangs auf grundlegende Konzepte eingehen werde, werde ich in den folgenden Blog-Einträgen genauer auf einzelne Komponenten der Data Flows und darüber hinaus eingehen. Dazu gehören unter anderem die Funktionsweise und Features einzelner Data Flow Transformationen. Ich werde aber auch einen Blick hinter den Vorgang werfen und im Detail … weiterlesen…

Moderne ETL-Prozesse mit (Microsoft) Azure Data Factory

Am Abend des 24. April 2020 hatte die PASS-Regionalgruppe Mittelrhein zu einem Vortrag über die zeitgemäße Entwicklung moderner ETL-Prozesse mit Hilfe von Microsofts Azure Data Factory geladen. Die aktuelle Corona-Kriese zwang uns, diese Veranstaltung als Online-Event abzuhalten, was über das Videokonferenztool TEAMS sehr komfortable zu realisieren war. Sicher lag es nicht nur an der Möglichkeit dem Vortrag … weiterlesen…

Wrangling Data Flows

titelbild-wrangling-dataflows

Vor ein paar Monaten stellte die Azure Data Factory zwei neue Features vor. Einerseits sind es die Mapping Data Flows. Andererseits sind es die Wrangling Data Flows. Mit diesem Feature möchte ich mich in diesem Blogbeitrag beschäftigen und diesen ganz kurz vorstellen. Was sind Wrangling Data Flows? Kurz und knapp formuliert sind die Wrangling Data … weiterlesen…

SQL Schulung mal anders

SQL Schulung Torsten

Am 15.10. bestritt ich meine Premiere als Sprecher auf der Veranstaltung „SQLdays 2019“ in der Stadthalle Erding. Mit zwei Kollegen, die als Teilnehmer ihr Wissen rund um den SQL Server von Microsoft ausbauen wollten, war ich mit zwei eigenen Vorträgen nach Bayern gereist. Die Veranstaltung war sehr gut organisiert. Man konnte aus vier gleichzeitig angebotenen … weiterlesen…

R Services im SQL Server

In vielen verschiedenen Bereichen finden sich heutzutage große Datenmengen, die man in Datenbanken wie dem SQL Server abspeichern und verwalten kann. Um nun aussagekräftige Informationen aus diesen Daten zu gewinnen, müssen sie analysiert werden. Hierzu gehört beispielsweise das Erstellen von Prognosen oder das Testen verschiedener Hypothesen. Für diese statistischen Fragestellungen hat sich in den letzten Jahren … weiterlesen…

Das kniffelige Teilsummenproblem mit T-SQL gelöst

In diesem Blogbeitrag soll es um eine sehr interessante Herausforderung gehen, auf die ich im Rahmen der Ausbildung unserer Werkstudenten traf. Bisher konnte ich sie mit den Standard-T-SQL-Mitteln nicht lösen. Das faszinierende Element an der Aufgabe ist die Einfachheit der Fragestellung bei extrem übersichtlicher Datenmenge sowie der einfache Aufbau der Testdaten. Konnte es wirklich sein, … weiterlesen…

Als Sprecher in der PASS-Regionalgruppe

Am 12.11.2019 werde ich in der befreundeten Regionalgruppe Rhein/Main das Abendprogramm gestalten und einen Vortrag zu einem komplexen SQL-Thema zum Besten geben. Die Veranstaltung ist gleichzeitig ein versprochener Gegenbesuch und ein Probedurchgang für die IT-Tage 2019 in Frankfurt, bei denen ich als Referent angefragt wurde und mittlerweile fest im Programm stehe. Woher kennt Facebook meine … weiterlesen…

Vortrag auf den IT-Tagen in Frankfurt

Letztes Jahr bin ich noch an der Vortragsauswahlrunde gescheitert, dieses Jahr hat es dann auf Anhieb geklappt. Der Titel „Die Algorithmen hinter Xing, Facebook und den Navigationsgeräten mit dem SQL-Server nachgebaut“ hat die Jury überzeugt. So kommt es, dass ich erstmal einen Sprecherplatz auf den IT-Tagen in Frankfurt ergattern konnte. Große, mehrtägige IT Konferenz Die … weiterlesen…

SQL Saturday 856 im Rheinland

Unter dem unscheinbaren Hashtag #856 fand bereits zum siebten Mal der SQL Saturday im Rheinland statt. Einmal im Jahr treffen sich die Experten aus den Bereichen SQL, Business Intelligence, Big Data und AI an der Hochschule in Sankt Augustin zu einer für interessierte Besucher kostenfreien Veranstaltung. Markus Delhofen als Speaker für arelium im Einsatz In … weiterlesen…