Περίληψη του άρθρου:

Η NVIDIA παρουσίασε νέα εργαλεία τεχνητής νοημοσύνης και προσομοίωσης για την επιτάχυνση της ανάπτυξης ρομπότ, όπως τα Isaac Lab, Cosmos tokenizer και NeMo Curator, στο συνέδριο Conference for Robot Learning (CoRL). Οι τεχνολογίες αυτές επιτρέπουν την ταχύτερη ανάπτυξη ανθρωποειδών ρομπότ, με την υποστήριξη του Project GR00T, και διευκολύνουν την κατασκευή μοντέλων του κόσμου για ακριβέστερες αλληλεπιδράσεις των ρομπότ με το περιβάλλον.

 

Κύρια σημεία του άρθρου:

• NVIDIA Isaac Lab: Ανοικτό και ενιαίο πλαίσιο εκμάθησης ρομπότ, που υποστηρίζει εκπαίδευση ρομπότ με δυνατότητα χειρισμού πολύπλοκων κινήσεων και αλληλεπιδράσεων.
• Project GR00T: Έξι νέες ροές εργασίας για τη δημιουργία ικανοτήτων σε ανθρωποειδή ρομπότ, όπως η παραγωγή κίνησης, ολόσωμος έλεγχος και πολυτροπική αίσθηση.
• Cosmos Tokenizer και NeMo Curator: Ο Cosmos προσφέρει ταχύτερη και πιο αποτελεσματική συμπίεση βίντεο και εικόνων, ενώ ο NeMo Curator απλοποιεί την επεξεργασία μεγάλων συνόλων δεδομένων για ανάπτυξη μοντέλων του κόσμου.
• Υποστήριξη της ρομποτικής κοινότητας: Η NVIDIA παρουσίασε σχετικές εργασίες και εκπαίδευση για ρομποτική, περιλαμβάνοντας συνεργασίες με την Hugging Face για επιτάχυνση της έρευνας και εργαλεία όπως το LeRobot.
• Διαθεσιμότητα: Το Isaac Lab και ο Cosmos tokenizer είναι ήδη διαθέσιμα στο GitHub, ενώ ο NeMo Curator θα είναι διαθέσιμος αργότερα αυτόν τον μήνα.

 

Αναλυτικά το άρθρο:

Η ανάπτυξη ρομπότ με δυνατότητες τεχνητής νοημοσύνης μπορεί να επιταχυνθεί σημαντικά χάρη σε νέα εργαλεία τεχνητής νοημοσύνης και προσομοίωσης και σε ροές εργασίας που παρουσίασε η NVIDIA αυτήν την εβδομάδα στο Συνέδριο για τη Μάθηση Ρομπότ (CoRL) στο Μόναχο της Γερμανίας. Το νέο υλικό περιλαμβάνει τη γενική διαθεσιμότητα του πλαισίου εκμάθησης ρομπότ NVIDIA Isaac Lab, έξι νέες ροές εργασίας εκμάθησης για ανθρωποειδή ρομπότ στο πλαίσιο του Project GR00T και νέα εργαλεία για την ανάπτυξη μοντέλων του κόσμου για επιμέλεια και επεξεργασία βίντεο, όπως ο Cosmos tokenizer και το NeMo Curator της NVIDIA για την επεξεργασία βίντεο.

Ο ανοικτού κώδικα Cosmos tokenizer προσφέρει στους προγραμματιστές ρομποτικής ανώτερη οπτική tokenize, διασπώντας εικόνες και βίντεο σε υψηλής ποιότητας tokens με εξαιρετικά υψηλά ποσοστά συμπίεσης. Εκτελείται έως και 12 φορές γρηγορότερα από τους τρέχοντες tokenizers, ενώ ο NeMo Curator προσφέρει επιμέλεια επεξεργασίας βίντεο έως και 7 φορές ταχύτερα από μη βελτιστοποιημένες διαδικασίες.

Επιπλέον, η NVIDIA παρουσίασε 23 επιστημονικές εργασίες και εννέα εργαστήρια στο CoRL που σχετίζονται με τη μάθηση ρομπότ και κυκλοφόρησε οδηγούς εκπαίδευσης και ροής εργασίας για προγραμματιστές. Επίσης, η Hugging Face και η NVIDIA ανακοίνωσαν ότι συνεργάζονται για την επιτάχυνση της έρευνας ανοιχτού κώδικα στη ρομποτική με τα LeRobot, NVIDIA Isaac Lab και NVIDIA Jetson για την κοινότητα προγραμματιστών.

Επιτάχυνση της Ανάπτυξης Ρομπότ με το Isaac Lab

Το NVIDIA Isaac Lab είναι ένα ανοικτού κώδικα πλαίσιο εκμάθησης ρομπότ, χτισμένο στην πλατφόρμα NVIDIA Omniverse, που υποστηρίζει την ανάπτυξη εφαρμογών OpenUSD για βιομηχανική ψηφιοποίηση και φυσική προσομοίωση ΤΝ.

Οι προγραμματιστές μπορούν να χρησιμοποιούν το Isaac Lab για να εκπαιδεύουν πολιτικές ρομπότ σε μεγάλη κλίμακα. Αυτό το ανοικτού κώδικα ενιαίο πλαίσιο εκμάθησης ρομπότ εφαρμόζεται σε οποιαδήποτε ενσάρκωση - από ανθρωποειδή έως τετράποδα και συνεργατικά ρομπότ - για τη διαχείριση ολοένα και πιο σύνθετων κινήσεων και αλληλεπιδράσεων.

Κορυφαίοι κατασκευαστές εμπορικών ρομπότ, προγραμματιστές εφαρμογών ρομποτικής και ερευνητικές οντότητες ρομποτικής σε όλο τον κόσμο υιοθετούν το Isaac Lab, όπως οι 1X, Agility Robotics, The AI Institute, Berkeley Humanoid, Boston Dynamics, Field AI, Fourier, Galbot, Mentee Robotics, Skild AI, Swiss-Mile, Unitree Robotics και XPENG Robotics.

Project GR00T: Βάσεις για Ανθρωποειδή Ρομπότ Γενικής Χρήσης

Η ανάπτυξη προηγμένων ανθρωποειδών ρομπότ είναι εξαιρετικά δύσκολη, απαιτώντας πολύπλευρες τεχνολογικές και διεπιστημονικές προσεγγίσεις για την αποτελεσματική αντίληψη, κίνηση και εκμάθηση δεξιοτήτων για αλληλεπιδράσεις ανθρώπου-ρομπότ και ρομπότ-περιβάλλοντος.

Το Project GR00T είναι μια πρωτοβουλία για την ανάπτυξη επιταχυνόμενων βιβλιοθηκών, μοντέλων βάσης και δεδομένων που θα ενισχύσουν την παγκόσμια κοινότητα προγραμματιστών ανθρωποειδών ρομπότ.

Έξι νέες ροές εργασίας του Project GR00T παρέχουν στους προγραμματιστές ανθρωποειδών τα απαραίτητα σχέδια για να υλοποιήσουν τις πιο απαιτητικές δυνατότητες ανθρωποειδών ρομπότ. Περιλαμβάνουν:

• GR00T-Gen για δημιουργία περιβαλλόντων 3D με χρήση γενετικής ΤΝ και OpenUSD,
• GR00T-Mimic για παραγωγή κίνησης ρομπότ και διαδρομών,
• GR00T-Dexterity για επιδέξιο χειρισμό αντικειμένων,
• GR00T-Control για ολόσωμο έλεγχο,
• GR00T-Mobility για μετακίνηση και πλοήγηση ρομπότ,
• GR00T-Perception για πολυτροπική αίσθηση.

“Τα ανθρωποειδή ρομπότ είναι το επόμενο κύμα ενσωματωμένης ΤΝ,” δήλωσε ο Jim Fan, ανώτερος διαχειριστής έρευνας της ενσωματωμένης ΤΝ στη NVIDIA. “Οι ερευνητικές και τεχνικές ομάδες της NVIDIA συνεργάζονται σε όλη την εταιρεία και την κοινότητα των προγραμματιστών μας για να χτίσουν το Project GR00T και να προωθήσουν την πρόοδο των προγραμματιστών ανθρωποειδών ρομπότ παγκοσμίως.”

Νέα Εργαλεία Ανάπτυξης για Κατασκευαστές Μοντέλων Κόσμου

Σήμερα, οι προγραμματιστές ρομπότ κατασκευάζουν μοντέλα του κόσμου – αναπαραστάσεις ΤΝ του κόσμου που μπορούν να προβλέψουν πώς αντιδρούν τα αντικείμενα και τα περιβάλλοντα στις ενέργειες ενός ρομπότ. Η κατασκευή αυτών των μοντέλων απαιτεί τεράστιους υπολογιστικούς πόρους και δεδομένα.

Τα NVIDIA Cosmos tokenizers προσφέρουν αποτελεσματική, υψηλής ποιότητας κωδικοποίηση και αποκωδικοποίηση, διευκολύνοντας την ανάπτυξη αυτών των μοντέλων. Παρέχουν υψηλής ποιότητας συμπίεση και έως 12 φορές ταχύτερη οπτική ανακατασκευή, καθιστώντας δυνατή την ανάπτυξη γεννητικών εφαρμογών σε ευρεία κλίμακα.

Ο 1X, μια εταιρεία ανθρωποειδών ρομπότ, ενημέρωσε το dataset 1X World Model Challenge για να χρησιμοποιήσει το Cosmos tokenizer.

“Ο Cosmos tokenizer της NVIDIA επιτυγχάνει πολύ υψηλή χρονική και χωρική συμπίεση των δεδομένων μας, διατηρώντας την οπτική πιστότητα,” δήλωσε ο Eric Jang, αντιπρόεδρος ΤΝ της 1X Technologies. “Αυτό μας επιτρέπει να εκπαιδεύουμε μοντέλα κόσμου με παραγωγή βίντεο μακροχρόνιας προοπτικής με ακόμα μεγαλύτερη υπολογιστική απόδοση.”

Άλλοι προγραμματιστές ανθρωποειδών και ρομπότ γενικής χρήσης, όπως η XPENG Robotics και η Hillbot, αναπτύσσονται χρησιμοποιώντας τον Cosmos tokenizer για να διαχειρίζονται εικόνες και βίντεο υψηλής ανάλυσης.

Ο NeMo Curator τώρα περιλαμβάνει αγωγό επεξεργασίας βίντεο. Αυτό επιτρέπει στους προγραμματιστές ρομπότ να βελτιώσουν την ακρίβεια των μοντέλων κόσμου με την επεξεργασία δεδομένων μεγάλου κλίμακας.

Η επιμέλεια δεδομένων βίντεο παρουσιάζει προκλήσεις λόγω του τεράστιου μεγέθους τους. Ο NeMo Curator απλοποιεί την επιμέλεια δεδομένων με αυτόματη οργάνωση αγωγών, μειώνοντας σημαντικά τον χρόνο επεξεργασίας και υποστηρίζει γραμμική κλιμάκωση σε συστήματα πολλαπλών κόμβων και GPU.

Ενίσχυση της Κοινότητας Μάθησης Ρομπότ στο CoRL

Οι σχεδόν δύο δεκάδες επιστημονικές εργασίες που κυκλοφόρησε η ομάδα ρομποτικής της NVIDIA στο CoRL καλύπτουν θέματα όπως η βελτίωση της κατανόησης του περιβάλλοντος και η εκτέλεση εργασιών, η πλοήγηση ρομπότ και οι στρατηγικές προγραμματισμού.

 

Πηγή: NVIDIA Advances Robot Learning and Humanoid Development With New AI and Simulation Tools