19 Αύγουστος 2018

Η Cleversafe φέρνει την αποθήκευση στο περιβάλλον των analytics δεδομένων μεγάλου όγκου της Hadoop

Η Hadoop δεν συνιστά περιβάλλον αποθήκευσης. Τα συνδεδεμένα (metadata) διατηρούνται σε έναν διακομιστή. Τα δεδομένα αντιγράφονται τρεις φορές για να μην χαθεί τίποτα. Κάτι τέτοιο μπορεί να στοιχίζει πολύ όταν η αποθήκευση δεδομένων είναι μεγέθους petabytes. Και αν υπάρξει αποτυχία στον διακομιστή, τα δεδομένα που έχουν αντιγραφεί μπορεί να γίνουν πέρα για πέρα μη προσβάσιμα. Επιπλέον, η διατήρηση τριών αντιγράφων δεδομένων μπορεί να οδηγήσει σε σημαντικά γενικά έξοδα και έξοδα διαχείρισης.

 

Η Cleversafe πιστεύει ότι έχει την απάντηση συνδυάζοντας την τεχνολογία αποθήκευσής της (object-storage dispersal technology) με τις δυνατότητες της Hadoop, MapReduce.

 

Η Cleversafe χρησιμοποιεί μια τεχνική που ονομάζεται erasure coding. Παίρνει δεδομένα και τα κομματιάζει σε μικρά τμήματα. Τα κομμάτια διανέμονται σε ξεχωριστούς δίσκους, σε αποθηκευτικούς κόμβους και γεωγραφικές τοποθεσίες. Μόλις διανεμηθούν, οι αλγόριθμοι Informational Dispersal Algorithms (IDA) της Cleversafe αποτελούν τα δεδομένα από ένα υποσύνολο των τμημάτων που έχουν αρχικά αποθηκευθεί.

 

Κι εδώ είναι το μυστικό. Η Cleversafe προτείνει μετά τη διανομή, τα δεδομένα να επιστρέφουν στη Hadoop για ανάλυση. Η Hadoop τα πηγαίνει πολύ καλά όταν τα δεδομένα υπόκεινται σε υπολογισμό. Αυτό επιτυγχάνεται με την τεχνική της Cleversafe.