Archiv

Archive for the ‘Azure’ Category

Bericht vom Azure Data Lake Event

Am 2.3.2018 habe ich am Azure Data Lake Event, durchgeführt von Microsoft und Trivadis, teilgenommen. Die Referenten gaben einen Überblick über das Potential und die Möglichkeiten von Microsoft Azure Data Lake und unterlegten dies auch gleich mit live Code-Beispielen, die sie während der Veranstaltung zeigten.

Speaker waren:

  • Michael Rys, Principal Program Manager Big Data Team, Microsoft
  • Patrik Borosch, Technical Solution Professional Data Platform, Microsoft
  • Marco Amhof, Senior Consultant für Azure Data Lake Analytics und Busines Intelligence, Trivadis

Mit Hilfe des Azure Data Lakes können einerseits unterschiedlichste Daten gespeichert, andererseits aber auch analysiert und weiterverarbeitet werden. Microsoft hat eine neue Sprache zur Auswertung dieser Daten entwickelt: U-SQL. Diese Sprache ist eine Kombination aus T-SQL und C# und bietet vor allem Microsoft Entwicklern ein komfortables Werkzeug im Bereich von Big-Data-Analysen.

Azure Data Lake und diverse Möglichkeiten für Analytics

Erstaunlicherweise war die erste Frage von Michael Rys: In welcher Sprache sollen  die Vorträge gehalten werden (in Hochdeutsch, Schweizer-Deutsch oder Englisch)? … Michael Rys stammt nämlich aus der Schweiz und lebt schon seit über 20 Jahren in den USA und arbeitet bei Microsoft.

Michael Rys hat erklärt, dass man sich den Azure Data Lake (ADL) jedoch nicht als See vorstellen sollte, wo die Daten wahllos hineingekippt werden, sondern eher ähnlich einer Verzeichnisstruktur, wo es Unterordner und verschiedene Bereiche gibt. Dort werden die Daten möglichst im Original-Format und ohne zusätzliche Schema-Informationen gespeichert. D.h. auch wenn man seine Daten in einem Data Lake kopiert und aufbewahrt, müssen diese verwaltet und organisiert werden. Das wird einem durch einen Data Lake nicht abgenommen. Hierzu könnte z.B. das Tool Azure Data Catalog verwendet werden.

Various Big Data Solutions

Mit U-SQL lassen sich die Daten gemäss „Query where the data lives“ auswerten und zwar mit dem Ziel dass möglichst wenig Daten kopiert werden müssen und das Ganze möglichst performant ist.

Daten mit U-SQL und Azure Data Lake Analytics (ADLA) abfragen

 

Bei Azure Data Lake Analytics sind bereits 6 sogenannte kognitive Funktionen eingebaut:

  • Face API
  • Image Tagging
  • Emotion Analysis
  • OCR
  • Text Key Phrase Extraction
  • Text Sentiment Analysis

Aber auch Funktionalitäten wie z.B. das Durchsuchen von PDF-Dateien lassen sich relativ einfach realisieren, indem Open-Source .Net Code einfach eingebunden (z.B. von GitHub) und verwendet werden kann, wie Marco Amhof eindrücklich mit einem seiner vielen Code-Beispiele und Live Demos demonstriert hat:

  • ImageTagging (ein Feature aus den Cognitive Services) mit Visualisierung in PowerBI

    Demo: Image Tagging

     

  • Verarbeitung von 2 CSV Files und einer Abfrage (Federated Query) aus Azure SQL DWH mit dem Ergebnis, mit diesen Daten einen Data Mart nach Azure Data Lake zu schreiben, und diesen wiederum mit PowerBI zu visualisieren.(Der Data Mart lässt sich ebenfalls mit dem Polybase Feature in Azure SQL DWH abfragen. Alternativ kann dieser Data Mart von PowerBI extrahiert und nach Azure Analysis Services deployed werden.)
  • PDFParsing: Mit einem Open Source PDF Parser lassen sich beliebige PDF Files parsen. Diese wurden dann mit dem Keyword Extractor (Cognitive Services Framework) verarbeitet und die in PowerBI mit dem WordCloud Custom Visual visualisert


Patrik Borosch thematisierte unter anderem die Frage: Wird das traditionelle Data Warehouse überhaupt noch benötigt? Oder kann man alle Daten in einen Data Lake hochladen und dann direkt mit Hadoop, Spark, R oder Azure Data Lake Analytics auswerten? Die Antwort die er gegeben hat, ist ein klares JA: Das Data Warehouse wird noch benötigt, aber der grösste Nutzen für das Unternehmen entsteht dann, wenn das relationale Data Warehouse als Teil einer Big Data Lösung betrieben wird.

Denn immer noch müssen die Daten von OLAP-System, CRM, MDM (Master Data Management) etc. integriert, bereinigt, aggregiert und ausgewertet werden. Und genau diese Dinge kann ein Data Warehouse sehr gut. Wenn nun das Data Warehouse in die Cloud migriert wird (z.B. als Azure Data Warehouse oder auch als vollwertiger SQL-Server auf einer Azure-VM) hat man quasi das Beste aus zwei Welten und kann strukturierte und nicht strukturierte Daten miteinander verbinden und daraus neue Erkenntnisse erzielen. Patrik Borisch gab auch den Hinweis, dass sich derzeit eine neue Lösung im der Public Preview-Phase befindet: Azure SQL Database Managed Instance.

Azure Data Lake, Analytics, and Data Warehouse

Mein Fazit: Das war eine gelungene, halbtägige Veranstaltung mit hochkarätigen Speakern, die es verstanden haben, einerseits einen Überblick über Azure Data Lake zu geben, und andererseits mit praktischen Code-Beispielen die gezeigten Themen direkt demonstrieren konnten und auch teilweise in die Tiefe zu gehen. Während der Veranstaltung gab es immer wieder Fragen seitens der Zuhörer, die aus sehr verschiedenen Branchen kamen.

Alle Fragen konnten von den Speakern detailliert und zufriedenstellend erklärt werden. Und auch die Organisatoren Willfried Färber und Rosmarie Stutz haben einen tollen Job gemacht: Sie haben tolle Speaker zu einem sehr spannenden Thema hier in die Schweiz geholt. Cool!

Advertisements

Vortrag am 2.12.2015: Entwickeln von IoT (Internet of Things) Lösungen mit Microsoft Azure

Die MSUGS (Microsoft Solutions User Group Switzerland) veranstaltet am 2.12.2015 einen sehr interessanten Vortrag über das Thema IoT (Internet of Things) auf Basis von Microsoft Azure.

Marco Amhof und Andrija Sisko zeigen am Beispiel von drei verschiedenen Sensoren wie man Sensorwerte sammeln und in PowerBI visualisieren kann. Dazu verwenden sie die Frameworks aus Microsoft Azure.

Marco arbeitet seit über 14 Jahren bei Trivadis als Consultant in Kundenprojekten, die mit Microsoft Technologie umgesetzt werden. Schwerpunkte sind Anwendungsentwicklung und Business Intelligence basierend auf den Technologien und Frameworks Microsoft SQL Server, Microsoft .NET und Microsoft Dynamics XRM.

Andrija arbeitet seit 4½ Jahren bei Trivadis als .Net Consultant in der Application Development Unit. Seine Schwerpunkte liegen in den Bereichen Serverseitige Programmierung, ASP.NET MVC, Microsoft SQL Server, Microsoft Entwicklungswerkzeuge (Visual Studio, TFS) und Performance Analyse/Management.

Sei dabei bei diesem spannenden Vortrag wo IoT konkret wird. Weitere Details zum Programm und zur Anmeldung findest Du hier auf der Homepage der MSUGS.

Vortrag: Optimierung der IT-Infrastruktur mit Office 365 und Azure

Am Donnerstag, 23. April 2015, 17.30 Uhr findet in Aarau ein Vortrag zum Thema „Optimierung der IT-Infrastruktur mit Office 365 und Azure: Zukunftsorientiert, umfassend und kosten-günstig“ statt. Der Vortrag ist kostenlos. Details siehe PDF-Dokument: Einladung_OdA_Event_20150423

Ort: Kantonale Verwaltung Aargau, Buchenhof Entfelderstrasse 22, 5000 Aarau, Sitzungszimmer AARE

AGENDA
17.30 Uhr – Empfang
18.00 Uhr – Event
– Optimierung der IT-Infrastruktur
– Demo OdA GS Aargau O365 / Lync
– Azure / SharePoint online inkl. Demo
– Neue Welt des Arbeitens

ab 19.45 Uhr
– Apéro und Ausklang
– Austausch mit den Referenten und Networking

ANMELDUNG BITTE BIS ZUM 21.4.2015 BEI:
rbestaendig@bluewin.ch

Die OdA GS Aargau (Organisation der Arbeitswelt für Gesundheits- und Sozialberufe) reduziert mit der Migration in die Azure-Cloud & Office 365 ihre IT Kosten um 53%! Trotz dieser massiven Kostensenkung stehen mehr Möglichkeiten zur Verfügung. An diesem Event zeigt Andrea Traber (Geschäftsleitungsmitglied der OdA GS Aargau) auf, wie die Ausgangslage vor dem Projekt ausgesehen hat, was die Überlegungen für diesen Schritt waren und wie sie jetzt arbeiten.

Meinrad Weiss und Simon Amrein von der Trivadis AG wird im Anschluss ein paar technische Details und die Herausforderungen aufzeigen, bevor sie Zukunftsvisionen erläutern und diese in einer kurzen Demonstration präsentieren. Weiter wollen wir die neue Welt des Arbeitens mit einem spannenden Referat von Lukas Gillioz, Solution Spezialist Cloud, aufzeigen.