Η διαχείριση της μνήμης μπορεί να γίνει πρόκληση για τα παραδοσιακά datasets, αλλά όταν μιλάμε για Big Data, τα πράγματα πάνε πολύ πιο αργά. Μία νέα γλώσσα προγραμματισμού, που ανακοινώθηκε από το MIT αυτή την εβδομάδα, στοχεύει να λύσει αυτό το πρόβλημα, και μέχρι τώρα έχει αποδειχθεί σωστό στην  υπόσχεση του και επιταχύνει την ταχύτητα σε κοινούς αλγόριθμους.

 

Η αρχή της τοπικότητας είναι αυτό που καθορίζει η διαχείριση της μνήμης στις περισσότερες μνήμες υπολογιστών σήμερα. Δηλαδή, αν ένα πρόγραμμα θέλει ένα κομμάτι δεδομένων, αποθηκευμένο σε μία τοποθεσία στη μνήμη, γενικά υποθέτει ότι χρειάζεται όλα τα γειτονικά κομμάτια δεδομένων επίσης. Στα Big data αυτό δεν γίνεται. Αντιθέτως, τα προγράμματα ενεργούν σε ένα μικρό κομμάτι των δεδομένων, διασκορπισμένο σε ένα τεράστιο data set.

Να τραβήξεις δεδομένα από την βασική μνήμη σήμερα είναι μεγάλη πρόβλημα στην επιδοση του υπολογιστή, άρα το να τραβάς συνεχώς δημιουργεί πολύ αργές διαδικασίες.

«Είναι σαν να θέλεις μια κουταλιά δημητριακών κάθε μέρα, να ανοίγεις το ψυγείο, να ανοίγεις το κουτί με το γάλα, να παίρνεις μια κουταλιά από γάλα, να κλείνεις το κουτί και να το βάζεις πάλι στο ψυγείο» εξήγησε, με απλά λόγια, διδακτορικός φοιτητής του MIT.

Με αυτή την πρόκληση στο μυαλό, οι ερευνητές του τμήματος Computer Science and Artificial Intelligence Laboratory (CSAIL) του MIT δημιούργησαν την Milk, μία νέα γλώσσα που επιτρέπει στους developers εφαρμογών να διαχειρίζονται τη μνήμη πιο καλά όταν έχουν να κάνουν με τεράστια datasets.

Στην ουσία, το Milk προσθέτει λίγες εντολές στο OpenMP, την API για γλώσσες όπως την C και Fortran που κάνει ευκολότερο να γράψεις κώδικα σε πολυπύρηνους επεξεργαστές. Ο προγραμματιστής προσθέτει κάποιες επιπλέον γραμμές κώδικα γύρω από κάθε εντολή που αναζητεί μικρά κομμάτια δεδομένων μέσα από τεράστια datasets. Έτσι, η Milk βρίσκει πώς να διαχειριστεί τη μνήμη σωστά.

Σε τεστ που έγιναν σε πολλούς κοινούς αλγόριθμους, τα προγράμματα που γράφτηκαν με τη γλώσσα ήταν τέσσερις φορές γρηγορότερα από αυτά γραμμένα με τις υπάρχουσες γλώσσες. Αυτό έχει περιθώρια βελτίωσης καθώς οι ερευνητές ακόμα δουλεύουν για να βελτιώσουν την επίδοση αυτή! Αναμένεται με ενδιαφέρον το paper για το project αυτό, αυτή την εβδομάδα στο International Conference on Parallel Architectures and Compilation Techniques.

Πηγή: infoworld.com