Περίληψη άρθρου:
Η Databricks κυκλοφόρησε τον κώδικα για ένα μεγάλο γλωσσικό μοντέλο (LLM) ανοικτού κώδικα που ονομάζεται Dolly και το οποίο οι εταιρείες μπορούν να χρησιμοποιήσουν για να δημιουργήσουν chatbots που ακολουθούν οδηγίες, παρόμοια με το ChatGPT. Το μοντέλο μπορεί να εκπαιδευτεί σε πολύ λίγα δεδομένα και σε πολύ λίγο χρόνο και έχει σκοπό να δείξει ότι ο καθένας μπορεί να δημιουργήσει ένα μοντέλο με μαγικές οδηγίες που μοιάζουν με το ChatGPT. Το μοντέλο Alpaca του Στάνφορντ αποτέλεσε την έμπνευση για το Dolly, το οποίο έχει μόνο 6 δισεκατομμύρια παραμέτρους σε σύγκριση με τα 175 δισεκατομμύρια του GPT-3. Η Databricks πιστεύει ότι οι περισσότεροι χρήστες ML εξυπηρετούνται καλύτερα μακροπρόθεσμα με την άμεση κατοχή των μοντέλων τους και ότι στο μέλλον θα υπάρξουν πολλά περισσότερα μοντέλα LLM που θα γίνουν φθηνότερα και πιο προσιτά. Αυτό θα επιτρέψει στις εταιρείες να αξιοποιήσουν αυτού του είδους την τεχνολογία και να έχουν τέτοιου είδους μοντέλα, επιτρέποντάς τους να γίνουν εταιρείες δεδομένων και AI.

Αναλυτικά το άρθρο:
Η Databricks κυκλοφόρησε τον κώδικα για ένα μεγάλο γλωσσικό μοντέλο (LLM) ανοικτού κώδικα που ονομάζεται Dolly, το οποίο πήρε το όνομά του από το πρόβατο Dolly, το πρώτο κλωνοποιημένο θηλαστικό. Σκοπός του είναι να βοηθήσει τις εταιρείες να δημιουργήσουν chatbots που ακολουθούν οδηγίες, παρόμοια με το ChatGPT. Το μοντέλο μπορεί να εκπαιδευτεί με πολύ λίγα δεδομένα και σε πολύ λίγο χρόνο, και με μόλις 30 δολάρια, έναν διακομιστή και τρεις ώρες, μπορεί να φτάσει σε διαδραστικότητα ανθρώπινου επιπέδου. Αυτό αποτελεί μέρος της αποστολής της Databricks να εκδημοκρατίσει την τεχνητή νοημοσύνη για τις επιχειρήσεις. Η Dolly θα μπορούσε ενδεχομένως να γίνει αντίπαλος του OpenAI το 2023.

Η δημιουργία ενός προσαρμοσμένου μοντέλου LLM αποτελεί προτιμώμενη επιλογή για πολλές εταιρείες, καθώς τους επιτρέπει να διατηρούν τον έλεγχο των δεδομένων τους και να προσαρμόζουν το μοντέλο στις συγκεκριμένες ανάγκες τους. Εξαλείφει επίσης την ανάγκη αποστολής ευαίσθητων δεδομένων σε τρίτους.

Η δημοσίευση στο ιστολόγιο πρότεινε ότι οι περισσότεροι χρήστες ML εξυπηρετούνται καλύτερα με την απευθείας ιδιοκτησία των μοντέλων τους, καθώς αυτό τους επιτρέπει να έχουν μεγαλύτερο έλεγχο της ποιότητας, του κόστους και της επιθυμητής συμπεριφοράς του μοντέλου. Επιπλέον, μπορεί να βοηθήσει στη μείωση του κόστους που συνδέεται με τη χρήση ενός τρίτου παρόχου. Τελικά, η δημιουργία ενός προσαρμοσμένου μοντέλου LLM είναι ένας πολύ καλός τρόπος για τις εταιρείες να διασφαλίσουν ότι τα δεδομένα τους παραμένουν ασφαλή και ότι το μοντέλο τους ανταποκρίνεται στις συγκεκριμένες απαιτήσεις τους.

Η Databricks διαπίστωσε ότι οι ιδιότητες τύπου ChatGPT δεν απαιτούν το πιο πρόσφατο ή το μεγαλύτερο γλωσσικό μοντέλο
Το Dolly έχει μόνο 6 δισεκατομμύρια παραμέτρους, σε σύγκριση με 175 δισεκατομμύρια για το GPT-3. Ο Ali Ghodsi, διευθύνων σύμβουλος της Databricks, "ξετρελάθηκε" όταν ξεκίνησε το ChatGPT στα τέλη Νοεμβρίου 2022. Συνειδητοποίησε ότι μόνο λίγες εταιρείες στον πλανήτη διαθέτουν τα μαζικά γλωσσικά μοντέλα που είναι απαραίτητα για την ικανότητα επιπέδου ChatGPT. Η Databricks ελπίζει ότι το Dolly θα διευκολύνει περισσότερες εταιρείες να έχουν πρόσβαση σε αυτού του είδους την τεχνολογία.

Τον Φεβρουάριο, η Meta δημοσίευσε τα βάρη για ένα σύνολο γλωσσικών μοντέλων υψηλής ποιότητας με την ονομασία LLaMA, τα οποία στη συνέχεια χρησιμοποιήθηκαν ως βάση για το μοντέλο Alpaca του Stanford. Στη συνέχεια, η Databricks μπόρεσε να πάρει ένα υπάρχον μοντέλο ανοικτού κώδικα 6 δισεκατομμυρίων παραμέτρων από την EleutherAI και να το τροποποιήσει ώστε να εκμαιεύσει τις ακόλουθες δυνατότητες εντολών.

Αυτό το τροποποιημένο μοντέλο λειτούργησε πολύ καλά, υποδηλώνοντας ότι τα δεδομένα εκπαίδευσης που ακολουθούν οδηγίες μπορεί να είναι πιο σημαντικά από τα μεγαλύτερα ή καλύτερα συντονισμένα βασικά μοντέλα. Πρόκειται για μια σημαντική ανακάλυψη στον τομέα της επεξεργασίας φυσικής γλώσσας, καθώς επιτρέπει πιο ανοικτή πρόσβαση σε γλωσσικά μοντέλα και δεδομένα.

Τα μοντέλα LLM δεν θα είναι στα χέρια λίγων μόνο εταιρειών
Ο Ali Ghodsi, Διευθύνων Σύμβουλος της Databricks, πιστεύει ότι η χρήση μεγάλων γλωσσικών μοντέλων (LLM) θα γίνει όλο και πιο διαδεδομένη στο μέλλον. Πιστεύει ότι αυτά τα μοντέλα θα γίνουν φθηνότερα και πιο προσιτά και ότι οι εταιρείες δεδομένων και τεχνητής νοημοσύνης θα είναι αυτές που θα επωφεληθούν από αυτά. Ο Ghodsi πιστεύει ότι αυτές οι εταιρείες θα είναι εκείνες που θα ηγηθούν του κλάδου και θα είναι οι πιο επιτυχημένες και ότι κάθε οργανισμός στον πλανήτη θα χρησιμοποιήσει τελικά αυτά τα μοντέλα με κάποιο τρόπο.

Πηγή: Databricks debutes ChatGPT-like Dolly, a clone any enterprise can own