20 Μαρτίου 2023

Το Hadoop 2, YARN αναμένεται να ταράξει τους τομείς διαχείρiσης δεδομένων και analytics

Ο σύμβουλος Wayne Eckerson αναφέρει ότι το Hadoop 2, επειδή περιλαμβάνει και δυνατότητα YARN, μπορεί να μπει στην κατηγορία ευέλικτου λειτουργικού συστήματος big data. Και προβλέπει ότι θα μπορούσε εύκολα να ανοίξει το πλαίσιο της επικρατούσας τάσης των ΙΤ.

Το Hadoop 2 παρουσιάστηκε το 2013 και μετατράπηκε από πλατφόρμα επεξεργασίας ανοιχτού κώδικα σε ένα λειτουργικό σύστημα για εφαρμογές big data με πολλούς σκοπούς. Αντί να υποστηρίζει μόνο έναν τύπο επεξεργασίας δεδομένων, το Hadoop 2 υποστηρίζει κάθε είδος εφαρμογής επεξεργασίας δεδομένων που έχει εγγραφεί σε YARN. Έτσι, μπορεί να υποστηρίξει όχι μόνο επεξεργασία, αλλά και ερωτήσεις σε πραγματικό χρόνο, εφαρμογές εταιριών για αναζήτηση, επεξεργασία ροής, πληροφορική μνήμης και οτιδήποτε άλλο περιλαμβάνεται στο YARN.

Πρόκειται για επανάσταση στον τομέα: αντί να μεταφέρει κανείς τα δεδομένα σε μια ποικιλία εξειδικευμένων εφαρμογών και συστημάτων επεξεργασίας, οι εταιρίες μπορούν να αποθηκεύουν δεδομένα σε συστήματα Hadoop 2 και να τα επεξεργαστούν επίσης.

Το μήνυμα διαλαλήθηκε πρόσφατα σε μια ημερίδα αναλυτών που οργάνωσε η Cloudera, που ήταν ο πρώτος που εμπορεύτηκε τα προϊόντα της Hadoop και άλλες σχετικές υπηρεσίες. Ο Διευθύνων Σύμβουλος της Cloudera, Tom Reilly, ανέφερε ότι το Hadoop 2 θα αλλάξει την οργάνωση των συστημάτων analytics: «Αντί να μεταφερθούν τα δεδομένα προς τις πηγές, οι εταιρίες θα μετακινούν τις πηγές προς τα δεδομένα, κερδίζοντας έτσι και χρόνο και χρήμα».

-Νέες εφαρμογές από δεδομένα

Η νέα εκδοχή έχει δημιουργήσει την ιδέα της δημιουργίας μις απέραντης βάσης δεδομένων συστήματος Hadoop. Η Cloudera θα είναι από τις πρώτες εταιρίες που θα το τολμήσουν αυτό, και θα το ονομάζουν κόμβο δεδομένων επιχείρησης(EDH). Με μια ετήσια εγγραφή, οι πελάτες της Enterprise Data Hub Edition της Cloudera μπορούν να έχουν πρόσβαση στο σύστημα της Hadoop και άλλες έξι δυνατότητες μόνο για εγγεγραμμένα μέλη, αλλά η εταιρία ανέφερε ότι μια σειρά από εφαρμογές για τρίτα μέλη είναι καθ’ οδόν επίσης.

Υπάρχουν κάποιοι κίνδυνοι για τον κόμβο δεδομένων της Hadoop 2. Σύμφωνα με τον Reilly, ο κόμβος δημιουργεί μια νέα γενιά σύγκλισης εφαρμογών που μπορεί να επιφέρει τεράστια επιχειρηματικά κέρδη. Για παράδειγμα, αν μια εταιρία χρησιμοποιεί την Spark Streaming για να προσπελάσει δεδομένα από ένα δίκτυο αισθητήρων σε μια βάση δεδομένων της Spark, εκεί θα αναλυθεί και θα μετατραπεί σε μοντέλο που ενσωματώνεται σε εφαρμογή διαδικτύου μεγάλου όγκου που λειτουργεί σε HBase. Παράλληλα, τα δεδομένα δεν εγκαταλείπουν ποτέ το σύμπλεγμα Hadoop, που απλοποιεί την επεξεργασία δεδομένων σε τεράστιο βαθμό και μειώνει τα έξοδα.

Αν και πολλοί αμφιβάλλουν ότι η Hadoop είναι έτοιμη να προσφέρει τέτοιες εφαρμογές, η Cloudera αναφέρει πως η ζήτηση για το EDH είναι υψηλή. Πράγματι, μέσα σε έξι εβδομάδες μέχρι το τέλος του πρώτου τριμήνου του 2014, η εταιρία πούλησε οκτώ εγγραφές, αφού έγινε το προϊόν της διαθέσιμο προς πώληση.