Στο 15# Azureheads meetup, μιλήσαμε για το πως μπορούμε να μετατρέψουμε τα δεδομένα μας χρησιμοποιώντας το Azure Data Factory και μέσα από αυτό πως μπορούμε να καλέσουμε ένα Azure HDInsights cluster, το οποίο θα δημιουργηθεί on-demand και μόλις θα ολοκληρώσει το έργο που του έχουμε αναθέσει θα διαγραφεί αυτόματα. Επίσης είδαμε πως με το Azure Data Factory μπορούμε να πάρουμε δεδομένα από σχεδόν οποιαδήποτε πηγή, όπου και να βρίσκετε και να τα πάμε επίσης οπουδήποτε.
Κατεβάστε εδώ την παρουσίαση: http://bit.ly/AH15Presentation
Κατεβάστε το Video του demo: http://bit.ly/AH15Video
Κατεβάστε τα project files: http://bit.ly/AH15Projectfiles
Στο demo φτιάξαμε ένα data factory. Στο data factory φτιάξαμε ένα pipeline το οποίο διαβάζει ένα Python script από ένα folder ενός Storage account. Το Data factory pipeline δημιουργεί on-demand ένα HDInsights Spark cluster και τρέχει το python script. Το python script διαβάζει ένα input κείμενο και σαν output δίνει μια καταμέτρηση των λέξεων του κειμένου. Τέλος διαγράφει το cluster.
Add Comment