Azure Data + Storage

Azureheads #15 | Integrate your data to the cloud resources

Στο 15# Azureheads meetup, μιλήσαμε για το πως μπορούμε να μετατρέψουμε τα δεδομένα μας χρησιμοποιώντας το Azure Data Factory και μέσα από αυτό πως μπορούμε να καλέσουμε ένα Azure HDInsights cluster, το οποίο θα δημιουργηθεί on-demand και μόλις θα ολοκληρώσει το έργο που του έχουμε αναθέσει θα διαγραφεί αυτόματα. Επίσης είδαμε πως με το Azure Data Factory μπορούμε να πάρουμε δεδομένα από σχεδόν οποιαδήποτε πηγή, όπου και να βρίσκετε και να τα πάμε επίσης οπουδήποτε.

Κατεβάστε εδώ την παρουσίαση:

Κατεβάστε το Video του demo:

Κατεβάστε τα project files:

Στο demo φτιάξαμε ένα data factory. Στο data factory φτιάξαμε ένα pipeline το οποίο διαβάζει ένα Python script από ένα folder ενός Storage account. Το Data factory pipeline δημιουργεί on-demand ένα HDInsights Spark cluster και τρέχει το python script. Το python script διαβάζει ένα input κείμενο και σαν output δίνει μια καταμέτρηση των λέξεων του κειμένου. Τέλος διαγράφει το cluster.

About the author

Pantelis Apostolidis

Pantelis Apostolidis is a technology enthusiast, currently working as a Cloud Solutions Architect at Microsoft. His educational background includes a diploma in Tourism Management from the Technological Educational Institute (TEI) of Thessaloniki and a diploma in Computer Network Engineering from the IEK of Thessaloniki. In his free time, he enjoys spending time with his family, plays guitar, tennis & basketball. Follow him @papostolidis

Add Comment

Click here to post a comment

Αυτός ο ιστότοπος χρησιμοποιεί το Akismet για να μειώσει τα ανεπιθύμητα σχόλια. Μάθετε πώς υφίστανται επεξεργασία τα δεδομένα των σχολίων σας.