H Hortonworks, ειδικός διανομέας του open source Hadoop, θέλει να κλείσει την λούπα της ανάλυσης πρόβλεψης, και θα του της επιτρέψει να μετατρέψει αυτό που αποκαλεί «Διαδίκτυο των Πάντων» σε πραγματοποιήσιμες ιδέες. Για να το καταφέρει αυτό, υπέγραψε μία οριστική συμφωνία για την απόκτηση του Onyara, του δημιουργού και του συνεργάτη- κλειδί στο πρότζεκτ υψηλού επιπέδου ανοιχτής πηγής Apache NiFi.

To NiFi δημιουργήθηκε πριν 8 χρόνια ως NiagaraFiles, ένα πρότζεκτ της NSA για την αυτοματοποίηση της ροής δεδομένων μεταξύ πολλαπλών δικτύων υπολογιστών, ακόμη και όταν τα δεδομένα σβήνονται και τα πρωτόκολλα διαφέρουν.Το πρακτορείο κυκλοφόρησε το NiFi σε ανοιχτή πηγή μέσω του Apache Software Foundation αρκετά αργά πέρυσι, ως κομμάτι του Προγράμματος Μεταφοράς Τεχνολογιών. Το Onyara δημιουργήθηκε τον περασμένο Δεκέμβρη από μηχανικούς που συνέβαλλαν σημαντικά στην δημιουργία του NiagaraFiles, και ξεκίνησε την λειτουργία του τον Μάρτη του 2015. Το NiFi έγινε ένα πρόγραμμα κορυφαίου επιπέδου Apache τον Ιούλιο του 2015.

Το DataFlow της Hortonworks σκοπεύει να κάνει τα δεδομένα πιο πραγματοποιήσιμα.

Ο Shaun Connolly, αντιπρόεδρος Εταιρικής Στρατηγικής της Hortonworks δηλώνει πως η απόκτηση αυτή θα πρέπει να αναμένεται για το τρίτο τετράμηνο του χρόνου αυτού. To Onyara θα προσαρμοστεί στην Hortonworks, και οι μηχανικοί του Onyara θα σχεδιάσουν τον πυρήνα ενός νέου προϊόντος Hortonworks: Το Hortonworks Dataflow.

«Στην πραγματικότητα πρόκειται για την απόκτηση μίας σωστής λύσης που μας επιτρέπει να εντοπίσουμε όλα τα δεδομένα του Διαδικτύου των Πάντων και να τα μετατρέψουμε σε πραγματοποιήσιμες ιδέες,» είπε ο Connolly.

«Αν ψάξετε πολλούς ορισμούς για το Διαδίκτυο των Πάντων, θα δείτε πως η πλειοψηφία το σχετίζει με αισθητήρες και μηχανικά δεδομένα,» προσθέτει. «Το Διαδίκτυο των Πάντων κατά την δική μας άποψη δεδομένα ροής, και δεδομένα των κοινωνικών δικτύων προέρχεται από τους ανθρώπους και από την μεταξύ τους επικοινωνία. Προσανατολίζει τα δεδομένα από το οτιδήποτε, τον οποιονδήποτε, οποιαδήποτε μηχανή και ότι άλλο έχετε.»

Το Hortonworks Dataflow έχει δημιουργηθεί για να κάνει πιο εύκολο για τους πελάτες την αυτοματοποίηση και την συλλογή των δεδομένων, την διεξαγωγή και την πραγματοποίηση σε αληθινό χρόνο των ιδεών για επιχειρήσεις και των πράξεων που προέρχονται από τα δεδομένα σε κίνηση. Το Hortonworks Dataflow θα είναι ξεχωριστό προϊόν από το Hortonworks Data Platform (HDP) – ακόμη και από το Hadoop- παρά το γεγονός ότι ο Connolly αναφέρει πως το Hortonworks Dataflow και το HDP θα επιτρέψουν στους χρήστες να ενώσουν τα δεδομένα ροής και τα ιστορικά δεδομένα σε ένα συνεχές σύνολο με σκοπό να δημιουργήσουν εφαρμογές ανάλυσης πρόβλεψης.

«Ο συνδυασμός των αναλύσεων ροής και των πλούσιων ιστορικών αναλύσεων, πρέπει να συνδυαστούν και τα δύο για να υπάρχει μία εφαρμογή πρόβλεψης σε αληθινό χρόνο- μία εφαρμογή πρόβλεψης που ίσως να γυρίσει πίσω στην συσκευή τελευταίας τεχνολογίας και να επηρεάσει την συμπεριφορά της,» δήλωσε.

Οι εφαρμογές του Διαδικτύου των Πάντων λειτουργούν με δεδομένα που ρέουν από τις μηχανές, από αισθητήρες, από κοινωνικά ρεύματα, από κλικ, από εισόδους στις σελίδες, από τις τεχνολογίες στη λίμνη δεδομένων σε αληθινό χρόνο με πλήρη εμπιστευτικότητα. Πολλές από αυτές τις εφαρμογές χρειάζονται συνδέσεις με δύο τρόπους και ασφάλεια από την άκρη έως το κέντρο των δεδομένων. Και πέρα από την ασφάλεια η «οδοντωτή άκρη» του Διαδικτύου των Πάντων αυξάνει την ανάγκη για την προστασία, την διαχείριση και την προέλευση των δεδομένων. Ο Connolly λέει πως το Hortonworks Dataflow θα απλοποιήσει και θα επιταχύνει την ροή των εν κινήσει δεδομένων στο HDP για ανάλυση υψηλής εμπιστοσύνης. Οι οργανώσεις επίσης θα μπορούσαν να βάλουν τα αντικείμενα στο Apache Kafka και ύστερα στο Apache Storm ή στο Apache Spark για την μετάδοση της ανάλυσης.

«Το user interface του NiFi και η ευκολία της επέκτασης το έχουν κάνει εξαιρετικά απλό στο στήσιμο, στην λειτουργία, ακόμη και στην ιδιωτικοποίησή του» σύμφωνα με τον Craig Connell, επικεφαλής τεχνολογίας στο Leverage, έναν προγραμματιστή προϊόντων λογισμικού για την έξυπνη διαχείριση και οπτικοποίηση των μεγάλων δικτύων των διαφόρων αισθητήρων του Διαδικτύου των Πάντων. «Είναι καταπληκτικό το γεγονός ότι προσαρμόζεται επίσης πολύ εύκολα με άλλα κομμάτια του κόσμου των μεγάλων δεδομένων του Apache, όπως το Spark, το Kafka και το Hadoop.»

Το καλοσχεδιασμένο και ώριμο API του NiFi, έχει κάνει την διαδικασία προσαρμογής μας πολύ πιο ευθεία,» προσθέτει ο Mark Bishop, επί κεφαλής αρχιτεκτονικών συστημάτων στο Prescient Edge, μίας εταιρίας προσαρμογής ασφαλείας και ανάπτυξης τεχνολογίας. «Με αυτό είμαστε ικανοί να βρούμε την προέλευση, την μετατροπή και την επιμονή των δεδομένων μας καθ’ όλη την διαδικασία ανάλυσης.»