Archiv
Very, very few places available … if you are quick, you can still register: Roelant Vos workshop „Data Warehouse Design Patterns“ from February 18 to 20, 2020 in Zurich
II would like to draw your attention to a special workshop „Data Warehouse Design Patterns – Implementation and Automation“ by Roelant Vos.
With his workshop, Roelant Vos not only teaches theory, but also how you can try out different models and variants for Data Vault using Roelant Vos tools. The tools are all open source and can be downloaded via GitHub in the source code!
Here is a short extract from the description of the workshop:
This Data Warehouse Design Patterns training is relevant for anyone, and everyone, seeking to understand how to leverage ‘model-driven-design’ and ‘pattern-based code-generation’ techniques to accelerate development.
By combining hybrid data modelling (e.g. Data Vault, Anchor and Ensemble Modelling approaches) with a Persistent Historical Data Store, and supporting this with code generation and process automation (‘DevOps’, ‘DataOps’) – we can reduce the repetitive aspects of data preparation whilst maintaining consistency in development
It is, in a way, an evolution in Data Warehouse automation thinking.
Regardless if you work on a Do-It-Yourself (DIY) solution, or have invested in any of the available Data Warehouse Automation (DWA) platforms, the concepts behind design patterns must be deeply understood to get the correct results. Success depends on correct modelling of the information, in combination with adequate application of the patterns – something software simply cannot replace yet.
Ultimately, leveraging code generation and automation techniques allows for a great degree of flexibility because you can quickly refactor and test different modelling approaches to understand which one is the best fit for you. This enables you to spend more time on higher value-adding work, such as improving the data models and delivery of your data.
As advanced modelling and implementation techniques are also covered, this training can be applied to a wide range of data professionals. The intent of the training is, after a brief introduction, to move to implementation and advanced techniques as quickly as possible.
I attended the course myself in June 2019 and can only recommend it. 😊
The workshop is offered by Trivadis together with Dörffler & Partner, and here you can register for the Roelant Vos workshop:
https://www.trivadis-training.com/de/training/data-warehouse-design-patterns-o-dwh-dp
There are currently very, very few places available. Do not hesitate to register.😊
Workshop von Roelant Vos „Data Warehouse Design Patterns“ vom 18.-20. Feb. 2020 in Zürich
Ich möchte auf einen speziellen Workshop «Data Warehouse Design Patterns – Implementierung und Automatisierung» von Roelant Vos aufmerksam machen.
Im Workshop von Roelant Vos wird nicht nur Theorie vermittelt, sondern auch wie man mit den Tools von Roelant Vos verschiedene Modelle und Varianten für Data Vault ausprobieren kann. Die Tools sind übrigens alle Open Source und können via GitHub im Source Code heruntergeladen werden!
Hier ein kurzer Auszug aus der Beschreibung des Workshops:
Ziel des Workshops ist es, direkt zu fortgeschrittenen Techniken zur DWH-Automation übergehen zu können. Das Training befasst sich sowohl mit der Implementierung der wichtigsten Data-Vault-Modellierungskonzepte einschließlich deiner verschiedenen Randaspekte, als auch mit den Mechanismen zur Bereitstellung von Informationen für die Endanwender. Behandelt werden auch aktuelle Techniken der Implementierung von Geschäftslogik zur Erzeugung der „korrekten“ Informationen und moderne Methoden zum Handling eines „Continous Loadings“.
Das Training bietet Tools und Konfigurationen, die du einfach nutzen kannst, um die Automatisierung deiner eigenen Entwicklung voranzutreiben – oder um Ansätze kommerzieller Automations-Software zu verstehen und effektiver nutzen zu können.
Ich habe den Kurs im Juni 2019 selbst besucht und kann diesen nur weiterempfehlen. 😊
Der Workshop wird von Trivadis gemeinsam mit Dörffler & Partner angeboten, und ab sofort kann man sich zum Workshop von Roelant Vos hier anmelden:
https://www.trivadis-training.com/de/training/data-warehouse-design-patterns-o-dwh-dp
Da das Interesse am Kurs von Roelant Vos sehr hoch ist:
Je schneller ihr Euch anmeldet, desto höher ist die Wahrscheinlichkeit, dass ihr auch einen Platz bekommt. 😊
Virtual Data Warehousing Training von Roelant Vos
Vom 19.-21. Juni 2019 habe ich in Utrecht (Holland) am Training „Virtual Data Warehousing – Implementation and Automation“ von Roelant Vos teilgenommen. Mein Fazit vorweg: Das Training ist klasse und jeden Cent wert. Ich kann das jeder/jedem nur weiterempfehlen! Doch der Reihe nach …
Da Roelant Vos Data Vault nur ganz kurz erklärt, empfiehlt es sich jedoch vor diesem Training einen der folgenden Kurse besucht zu haben:
- Data Vault Modelling: https://www.geneseeacademy.com/courses
- Data Vault 2.o: https://www.scalefree.com/
Der Kurs Virtual Data Warehousing besteht aus einer Mischung von Theorie, Demos und Hands-On-Workshops und vermittelt wie ein Virtual Data Warehouse implementiert und automatisiert werden kann. Extrem cool finde ich, dass Roelant viele Dinge als Open Source bereitstellt und dadurch versucht eine Community aufzubauen:
- Siehe http://roelantvos.com/blog/collaboration/
- Das Data Integration Run-time Execution Control Tool (DIRECT) ist ein generisches Execution- und Control Framework, welches die Ausführung der ETL Prozesse orchestriert.
- Taxonomy for ETL Automation Metadata (TEAM) ist ein Verwaltungs- resp. Management-Tool für die Data Vault Metadaten, eine Komponente passend zur VEDW Software
- Und mit Hilfe von VEDW können Änderungen einfach und schnell generiert und ausprobiert werden.
Das Virtual Data Warehouse, wie es Roelant Vos erklärt, erlaubt es das Data Warehouse zu überarbeiten (to be refactored) und komplett neu zu laden und zwar in einer deterministischen (vorhersagbaren) Art und Weise. Dies wird durch die Verwendung einer Persistent Staging Area (PSA) erreicht. In dieser PSA werden alle Daten auf dem untersten Level (Granularität) jeweils als Delta gespeichert, also als CREATE, UPDATE und DELETE Records. Auch werden die LoadDate-Timestamps bereits in der PSA abgelegt. Wenn das Quellsystem die Daten jeweils als Snapshot (FULL) liefert, kann mit einem CDC-Interface (Change Data Capture) gearbeitet werden um die Daten für die PSA aufzubereiten. Dabei werden ausschliesslich Hard Rules angewendet, wie z.B. die korrekte Formatierung des Datums etc. Soft Rules, welche die Daten interpretieren oder ableiten sind innerhalb der PSA nicht erlaubt. Die PSA ist eine notwendige Komponente für das Virtual Data Warehouse. Eine transiente Staging Area kann der PSA vorgeschaltet werden. Ggf. können die Satelliten (SAT) des Raw Vaults als Views auf die PSA implementiert werden.
Wir haben im Kurs gelernt:
- Wie die Architektur eines Virtuellen Data Warehouses aussehen kann
- Welche Patterns es gibt (Patterns based design)
- Warum es eine PSA benötigt
- Welche Optionen es bei der Implementierung eines Data Vaults (Raw Vault und Business Vault) gibt und dass es nicht nur die eine, richtige Lösung gibt
- Wie wir mit Metadaten und einem Generator (z.B. HandleBars) alles selbst generieren können
- Wie ETL automatisiert generiert werden kann
- Wie Ladejobs orchestriert, automatisiert und parallelisiert werden können
- Dass alles DevOps fähig implementiert werden kann und soll
- Wenn JSON Files für die Mappings zwischen Quelle und Ziel generiert werden, dann können diese in einer Source-Code Verwaltung wie z.B Git gespeichtert werden. Das ist eine wichtige Voraussetzung für die Automatisierung mit DevOps.
- Dass es möglich ist einen Teil der Daten nachträglich zu laden und trotzdem die Daten in der richtigen Reihenfolge ausgewertet werden können
- All is about iterations and DevOps!
Wie eingangs erwähnt: Ich darf mich glücklich schätzen, dieses Training besucht zu haben und kann die von Roelant Vos vorgestellte Vorgehensweisen nur weiterempfehlen.
Und zum Schluss noch ein Tipp: Am 2. Juli 2019 gibt es ein Meetup der deutschsprachigen Data Vault User Group (DDVUG) zum Thema Data Vault Options & Considerations mit Roelant Vos.
datatipp 