0. Αφόρμηση

Εν είδει μικρής επίδειξης και αφόρμησης για τη συζήτηση, ας δούμε αυτό το παράδειγμα διαλόγου με το GPT-3.5

OK, now sth hard. Challenge: Write 5 turns of platonic dialogue, for instance, can toughness be taught or is it inherent, between a british crook using the first type of slang and a compton thug using the second type of slang. Can you do that?

ChatGPT

Certainly! Here are five turns of a platonic dialogue between a British crook and a Compton thug, discussing the topic of toughness:

British Crook: A'ight, mate. Let's get straight to it. Can toughness be taught or is it something you're born with?

Compton Thug: Yo, fam, toughness ain't just in your blood, ya know. It's a whole lifestyle you learn growin' up in the hood.

British Crook: I hear ya, but can't deny some folks seem tougher right from the start. Innate, like. What you reckon?

Compton Thug: True, true. But see, out here, survival is the ultimate teacher. The streets mold ya, make you tough, or you won't last a minute.

British Crook: Right, survival of the fittest, I suppose. But what about them blokes who grew up cushy? Can they toughen up?

Compton Thug: Look, fam, adversity comes in different forms. Some might have money but face other demons. It's about adaptin', findin' that inner strength.

British Crook: Adapt or die, eh? I can respect that. So, you reckon toughness can be cultivated, regardless of where you're from?

Compton Thug: Absolutely, bruv. It's all about the choices you make, the battles you fight. Toughness ain't just in your hood, it's in your spirit.

Please note that these dialogues are fictional and intended for illustrative purposes only. They may not fully capture the nuances and authenticity of the respective slang usages.

Δεν θα αποπειραθώ να μεταφράσω στα ελληνικά αυτές τις ποικιλίες της αγγλικής γλώσσας, καθώς η ίδια η ουσία του παραδείγματος θα χαθεί (κυριολεκτικά) στη μετάφραση. Άλλωστε ανάλογα, “δύσκολα” παραδείγματα μετάφρασης κειμένων που παρουσιάζουν διαφορετικές ποικιλίες της αγγλικής γλώσσας έχουν ιστορικά επιλυθεί στα ελληνικά με “συντομεύσεις”, πχ χρήση της γλώσσας της Καινής Διαθήκης, χρήση της ελληνικής αργκό, αλλά δεν μπορούμε να πούμε ότι είναι κάτι περισσότερο από συντομεύσεις αφού η ελληνική γλώσσα δεν έχει περάσει τα ίδια ιστορικά στάδια με την αγγλική. Ας δούμε επιγραμματικά τί κάνει εδώ το μοντέλο:

• Μεταφέρει τα δομικά στοιχεία του Πρωταγόρα του Πλάτωνα σε ένα άλλο πλαίσιο συμφραζομένων, και αναθέτει ρόλους στους συμμετέχοντες.
• Αντικαθιστά επιτυχώς την έννοια της “αρετής” με την έννοια του “toughness” (σκληρότητα)
• Χρησιμοποιεί δύο διαφορετικές αργκό, μια βρετανική και μια αμερικανική, για να εκφράσει τα επιχειρήματα των δύο προσώπων του διαλόγου.

Είναι παράτολμο να σκεφτούμε να προγραμματίσουμε μία μηχανή ώστε να γράψει αυτόν τον διάλογο με τις παραδοσιακές μεθόδους, ακόμα και της επεξεργασίας φυσικής γλώσσας της προηγούμενης πενταετίας. Μέσα σε λιγότερο από μία ώρα είχαμε μια σύνθεση διαφορετικών πηγών, που εκτείνονται από τις πρώιμες καταγραφές της αρχαίας ελληνικής φιλοσοφίας, μέχρι τις κοινωνιολέκτους των κακοποιών και στις δύο πλευρές του Ατλαντικού.

Είναι προφανές ότι το γεγονός και μόνο ότι μία μηχανή κατανοεί ένα τέτοιο συνθετικό αίτημα, και το διεκπεραιώνει τόσο καλά, έστω και με λίγη “παρότρυνση” που προηγήθηκε για την ενεργοποίηση των σχετικών συμφραζομένων, συνιστά μία ανατροπή στο πως έχουμε μάθει να αλληλεπιδρούμε με τις “ευφυείς” μηχανές, και πως αντιλαμβανόμαστε την μάθηση που αυτές είναι ικανές να επιδείξουν.

1. Γλώσσες, φυσικές και τεχνητές

Πρόσφατα κάποιος έκανε μία, μάλλον σατιρική, ανάρτηση για τα “Αγγλικά ως γλώσσα προγραμματισμού”. Υποστηρίζει για παράδειγμα ότι είναι μια γλώσσα με επιτρεπτική τυπολογία, επιτρέπει αναδρομή, είναι επεκτάσιμη κλπ. Αυτό είναι όμως μια απλοϊκή παρωδία. Οι γλώσσες προγραμματισμού ονομάστηκαν έτσι ακριβώς επειδή είναι “γλώσσες”, έχουν χαρακτηριστικά γλώσσας, και ιστορικά οι πρώιμοι μεταγλωτιστές στηρίχτηκαν στην ιεραρχική, αναδρομική ιδιότητα της γραμματικής φραστικής δομής. Ακριβώς αυτές οι ιδιότητες του μαθηματικοποιημένου συστήματος του Τσόμσκι—που πέρασε και αυτό από διαφορετικές “μεταμορφώσεις”–ήταν το πλεονέκτημα που έκανε τη θεωρία να επικρατήσει στη γλωσσολογία, ξεπερνώντας την “περιγραφική γλωσσολογία” του Bloomfield.

Στην ανάρτηση που περιέγραφε τα αγγλικά ως “γλώσσα προγραμματισμού”, πολλοί σχολιαστές απάντησαν σε αυτήν την ανάρτηση ότι η πολυσημία, η ομοηχία, η συντακτική αμφισημία, αποτελούν παραδοσιακά προβλήματα των φυσικών γλωσσών, τα οποία προκαλούν πονοκέφαλο στους μαθηματικούς και τους προγραμματιστές. Εκείνοι προτιμούν μάλλον τις, μονοσήμαντες, και με αυστηρούς κανόνες επαναγραφής, τεχνητές γλώσσες που ακριβώς σκόπιμα έχουν καθαριστεί από τέτοιου είδους συμπτώματα.

Κατά ειρωνικότατο τρόπο, οι προσπάθειες της περιγραφικής γλωσσολογίας στηρίζονταν στον πιθανοκρατικό επικαθορισμό της επόμενης λέξης από έναν ολοένα μεγαλύτερο αριθμό προπορευόμενων λέξεων. Όπως πολύ καλά εξηγεί ο Chomsky στις Συντακτικές Δομές, η προσέγγιση αυτή κατέρρεε όταν απομακρυνόμασταν πολύ από την υπό πρόβλεψη λέξη, καθώς ήταν μάλλον δύσκολο να ενσωματώσει διάφορα σύνθετα κειμενικά φαινόμενα, όπως οι απομακρυσμένες λεξικές σχέσεις, ή η συντακτική εξάρτηση όταν διασκελίζει έναν μεγάλο αριθμό λέξεων. Βέβαια για να είμαστε δίκαιοι, ήταν εξίσου δύσκολο για την εποχή του να φανταστεί κανείς ένα perceptron με ένα χαώδες “κρυφό επίπεδο” με δισεκατομμύρια συνδέσεις, που είναι σε θέση να παράγει μη-γραμμικές προβλέψεις για την επόμενη λέξη.

Με τα σημερινά δεδομένα είναι φανερό ότι η προσέγγιση του Chomsky ήταν καταλληλότερη για μηχανικές τεχνητές γλώσσες. Οι συντακτικές αμφισημίες που ενίοτε παράγει η θεωρία του ήταν για την πλειοψηφία των γλωσσολόγων μια “ανωμαλία” που η μετασχηματιστική θεωρία υποσχόταν ότι θα “έλυνε” εσωτερικά. Για χρόνια οι μηχανικοί της επεξεργασίας φυσικής γλώσσας έλεγαν πως η ακρίβεια πρόβλεψης ενός μοντέλου ανεβαίνει κάθε φορά που ο γλωσσολόγος βγαίνει από το δωμάτιο. Εκείνη την εποχή όμως η γλωσσολογία θεωρούνταν συνώνυμη με το κυρίαρχο ερευνητικό πρόγραμμα της μετασχηματιστικής σύνταξης.

Τα μεγάλα γλωσσικά μοντέλα, στην ουσία τους μεγάλα νευρωνικά δίκτυα, εκπαιδευόμενα σε πληθώρα κειμενικών παραδειγμάτων μέσα στα συμφραζόμενά τους μπορούν να επιλύουν τις αμφισημίες μέσα από το πλαίσιο συμφραζομένων, που ενεργοποιείται επιλεκτικά μέσα από την “προσοχή” τους.

Τα μεγάλα γλωσσικά μοντέλα, ειδικά μάλιστα εκείνα τα οποία είναι ικανά στις γλώσσες προγραμματισμού, αποτελούν την τρίτη επανάσταση που βιώνουμε στο πως αλληλεπιδρούμε με τις υπολογιστικές μηχανές. Μέσα σε ένα σύντομο σχετικά ιστορικό διάστημα περάσαμε από τις διάτρητες κάρτες στις “ευέλικτες”, υψηλού επιπέδου γλώσσες προγραμματισμού. Φτάνουμε τώρα σε μία, σχεδόν χειροπιαστή, αλληλεπίδρασή μας με τη μηχανή σε φυσική γλώσσα!

Ως εκ τούτου ο καθαρισμός γλωσσικών δεδομένων είναι αρκετά πιο επιτρεπτικός για την εκπαίδευση μεγάλων γλωσσικών μοντέλων από ότι για την εκπαίδευση “παραδοσιακών” έργων επεξεργασίας φυσικής γλώσσας όπως η ταξινόμηση κειμένων. Μικρές λεξούλες (stopwords) όπως “ίσως” και “μέχρι πρότινος”, που θεωρούνταν μέχρι πολύ πρόσφατα ως “θόρυβος” και πληροφορία απροσπέλαστη για τη μηχανή, αξιοποιούνται τώρα αποτελεσματικότατα από τα λογοπαραγωγικά μοντέλα που μπορούν να διακρίνουν λεπτές σημασιολογικές αποχρώσεις, απαντώντας δια μιας σε ένα ολόκληρο σύνολο από τέτοια προβλήματα που, μέχρι πολύ πρόσφατα, αντιμετώπιζε ο κλάδος της επεξεργασίας φυσικής γλώσσας.

Ας μην ξεχνάμε πως σαν τρόπος της αποθήκευσης και αναπαράστασης γνώσης, μπορούμε σε ένα βαθμό να κάνουμε ανάκτηση πληροφοριών με σημασιολογική αναζήτηση σε ένα μεγάλο γλωσσικό μοντέλο. Σε ένα άλλο επίπεδο, αυτή η λειτουργία είναι περιορισμένη και για λόγους εταιρικής πολιτικής της OpenAI.

Άρα εκτός από το να αντλήσουμε συγκεκριμένες πληροφορίες που με κάποιο τρόπο βρίσκονται αφομοιωμένες στα κρυφά επίπεδα αυτών των μοντέλων και να τις συνδυάσουμε με πρωτότυπους τρόπους, μπορούμε ακόμα αν δεν έχουμε όρεξη να προγραμματίσουμε να ζητήσουμε από τη μηχανή να μας γράψει ένα πρόγραμμα το οποίο να κάνει αυτό που θέλουμε!

Tο μοντέλο κατανοεί την κειμενική δείξη και μπορεί να υλοποιεί σε κώδικα οδηγίες που του δίνονται λεκτικά: “θέλω να περιβάλλεις εκείνο το τμήμα του κώδικα σε ένα try-catch”¹ ή “θέλω να βάλεις εκεί έναν βρόχο προϋπόθεσης και να εξετάσεις τον τύπο του αρχείου που έρχεται”². Και σε αυτές τις οδηγίες ανταποκρίνεται άμεσα, κάνοντας μικρά λάθη απροσεξίας, πχ κάνει λάθος στο όνομα ενός αρχείου που έχει ονομάσει νωρίτερα με άλλο όνομα³. Μην μου πείτε πως τέτοια λάθη δεν κάνουν οι ανθρώπινοι προγραμματιστές.

Τα μεγάλα γλωσσικά μοντέλα καθιστούν εφικτά τέτοιου είδους αποτελέσματα μέσω της καθοδήγησης της μηχανής μέσω της “καθολικά γνωστής” φυσικής γλώσσας. Τουλάχιστον για τους αγγλόφωνους πληθυσμούς.

Ως τώρα έπρεπε να μιλάμε στη μηχανή στη δική της, αυστηρή γλώσσα, ενώ τώρα μπορούμε να της μιλάμε στη δική μας γλώσσα. Και εκείνη, πλέον, υπερβαίνει τις αμφισημίες, διαβάζει πίσω από τις λέξεις, και ενεργοποιεί ένα αχανές δίκτυο κόμβων με ασαφή σε εμάς σημασία. Μπορεί ακόμα να κάνει κάτι που έχουμε συνηθίσει να βλέπουμε σε κάποιους άλλους αναπτυσσόμενους νόες: αυτούς των παιδιών που μπορεί να εφαρμόζουν εσφαλμένα έναν κανόνα της γλώσσας, όταν τον υπεργενικεύουν. Έτσι βλέπουμε το GPT-4 να μιλάει για το στόχο “διάβασης” βιβλίων και την “δίνεση άδειας οδηγού”, επι-θέτοντας παραγωγικά μορφήματα στα ρήματα “διαβάζω” και “δίνω” αντίστοιχα, τα οποία εμφανίζονται σε άλλα ρήματα⁴, αλλά προφανώς είναι στις συγκεκριμένες περιπτώσεις αδόκιμα. Βλέπουμε έτσι ότι με την έκθεση στη γλώσσα τα νευρωνικά δίκτυα “μαθαίνουν τις κανονικότητες” όπως τα μαθαίνουν και οι παιδικοί αναπτυσσόμενοι εγκέφαλοι.

Πράγματι πολλοί προγραμματιστές στράφηκαν γρήγορα στην ανάπτυξη εφαρμογών με επίκληση της διεπαφής της OpenAI, που κάνουν πχ scraping API’s από το τίποτα, και υπόσχονται να αμβλύνουν διάφορα ακανθώδη πεδία και “μποτιλιαρίσματα” σε κάθε ροή εργασίας. Ως αποτέλεσμα, το σύνολο του επιχειρηματικού κόσμου και των κυβερνήσεων στρέφει τώρα την προσοχή σε λύσεις που αξιοποιούν τα μεγάλα γλωσσικά μοντέλα.

Αυτό καθιστά πιο πιεστική την ανάγκη μας να εξάγουμε “δραστικά συμπεράσματα” από την εμπειρία των τελευταίων δώδεκα μηνών για την ελληνική γλώσσα. Είναι αισθητό το πόση απόσταση έχουμε να καλύψουμε όσον αφορά τις γλωσσικές ποικιλίες, ειδικά αν λάβουμε υπόψη την ιστορία της διγλωσσίας και του γλωσσικού καθωσπρεπισμού που ταλανίζουν διαχρονικά τη γλώσσα μας.

2. Μία μορφή ευφυίας

Δύσκολα μπορεί ακόμα κανείς να αμφισβητήσει ότι πρόκειται για “μία μορφή ευφυίας”, τουλάχιστον για κάποιον ορισμό της τελευταίας λέξης. Προφανώς μπορείς να συνεννοηθείς με αυτή τη μηχανή σε ένα πλαίσιο συμφραζομένων. Πρέπει όμως να διατηρούμε αυτοσυγκράτηση όσον αφορά στο βαθμό που ανάλογη ικανότητα μπορεί να επιτευχθεί στα ελληνικά, με συγκρίσιμο πλούτο διαλέκτων και κοινωνιολέκτων, αφού πολλές δεν καταγράφονται ούτε διατηρούνται στο βαθμό που γίνεται στο εξωτερικό από άτομα και οργανισμούς που ενδιαφέρονται για την διάσωσή και αναβίωσή τους.

Ας διαχωρίσουμε όμως την έννοια της ευφυίας από συνυποδηλώσεις όπως “τεχνητή συνείδηση”, “τεχνητή προσωπικότητα”, και “τεχνητό εαυτό”. Τεχνητή ευφυΐα άλλωστε με την αυστηρότερη έννοια αποτελεί όλη η προσπάθεια της επιστήμης υπολογιστών από το πρώτο άρθρο του Alan Turing μέχρι την ήττα του Gary Kasparov από τον Deep Blue. Βλέπουμε όμως τώρα ισχυρές αντιστάσεις στην ιδέα ότι τα γλωσσικά μοντέλα είναι οτιδήποτε περισσότερο από “εξεζητημένα auto-correct”. Η επιλογή αυτή των λέξεων είναι ένας τρόπος κατανόησης της λειτουργίας τους που εισήλθε στην καθημερινή επικοινωνία όταν άρχισαν να αποκτούν απήχηση τα άρθρα για το ChatGPT στα μέσα ενημέρωσης και τις αναρτήσεις της σχετικής κοινότητας.

Αυτό σημαίνει, απλούστερα, ότι τα μοντέλα αυτά “προβλέπουν την επόμενη λέξη με τη μέγιστη πιθανότητα”, αλλά αυτό είναι παραπλανητικά απλουστευτικό. Η ανάλυση στην οποία βασίζεται είναι τρία χρόνια παλαιότερη, ενώ πλέον όλοι γνωρίζουμε ότι τα GPT-3.5 και GPT-4 φέρνουν πρωτοφανείς καινοτομίες στο πεδίο, ειδικά με την παραγωγή συνεκτικού λόγου, την παρακολούθηση ευρύτερων συμφραζομένων, την κατανόηση της κειμενικής δείξης, της προσωπικής αναφοράς και άλλων όψεων της συνεκτικότητας του διαλογικού κειμένου. Και αυτό πριν πάμε στη σύνταξη σεναριών σε γλώσσες προγραμματισμού. Μπορούμε λοιπόν εξ αρχής να πούμε ότι εν τοις όροις η προσέγγιση αυτή είναι όχι απλά υπεραπλουστευτική αλλά και εσφαλμένη.

Πρέπει να διακρίνουμε ότι ο τρόπος εκπαίδευσης των μοντέλων (“συμπλήρωσε την επόμενη λέξη” ή “την λέξη που λείπει”) δεν εξαντλεί την ουσία των ικανοτήτων τους. Αν παίρναμε ένα τυχαίο άτομο σε μία βιβλιοθήκη, τραβούσαμε ένα δελτίο στην τύχη, πηγαίναμε στο αντίστοιχο ράφι (ή κτήριο σε μερικές περιπτώσεις), παίρναμε το εν λόγω βιβλίο, και διαβάζαμε μία τυχαία πρόταση, δεν είναι απλό ζήτημα να προβλέψεις ποια θα είναι αυτή. Και πάλι είναι διαφορετικό να προβλέψεις μία λέξη η οποία προκύπτει εξ ολοκλήρου από το γραμματικό και συντακτικό περιβάλλον της, όπως πχ μια αναφορική αντωνυμία, ή μία παγιωμένη έκφραση όπως το “και τα λοιπά”. Και εντελώς διαφορετικό να προβλέψεις σωστά ποιά θα είναι η επόμενη λέξη σε ένα τεχνικό κείμενο, με εξειδικευμένους όρους και αυστηρά προσδιορισμένες, αιτιώδεις, σχέσεις ανάμεσά τους.

Ας δούμε αυτό το παράδειγμα Semantic Cognition p67

“Όταν το μοντέλο έχει αποδώσει μία αναπαράσταση στο σπουργίτι—βασισμένο στην πληροφορία ότι πρόκειται για πουλί—μπορούμε να επερωτήσουμε το δίκτυο να συμπληρώσει άλλες προτάσεις σχετικά με αυτό: Ο σπουργίτης μπορεί να … , ή ο σπουργίτης έχει … Αυτό επιτυγχάνεται εφαρμόζοντας το πρότυπο που αντιστοιχήθηκε στον σπουργίτη στις μονάδες αναπαράστασης, ενεργοποιώντας την κατάλληλη μονάδα, και διαχέοντας την ενεργοποίηση προς τα εμπρός, τις μονάδες εξόδου. Τα τελικά πρότυπα ενεργοποίησης στις μονάδες εξόδου είναι επομένως οι επαγωγές του μοντέλου που βασίζονται στις δοσμένες πληροφορίες.” Αυτό είναι ένα πολύ παλιό κείμενο. Αυτό που κρατάμε είναι ότι η ικανότητα ενός μοντέλου “απλά να προβλέπει την επόμενη λέξη” απορρέει από ένα εκτενές, πυκνά διασυνδεδεμένο ιστό σημασιών στο “κρυφό επίπεδο”.

Ένα ανάλογο παράδειγμα είναι να προβλέψεις την επόμενη λέξη σε κάθε δυνατή γλώσσα. Η γνώση της μητρικής γλώσσας ενός λαού δεν είναι εξίσου αυτονόητη, “καθολικά” προσβάσιμη γνώση σε έναν γειτονικό λαό. Ούτε μια “επίσημη”, ακαδημαϊκή γλωσσική ποικιλία είναι απαραίτητα γνωστή με την ίδια ευχέρεια από υπο-πληθυσμούς που δεν έχουν περάσει από τα ίδια στάδια τυπικής εκπαίδευσης. Τέτοια καθολική γλωσσική ικανότητα, ακόμα και τα γλωσσικά μοντέλα της OpenAI μόνο στα αγγλικά μπορούν να το κάνουν, γιατί έχουν εκπαιδευτεί πρωτίστως σε αυτά και λιγότερο σε άλλες γλώσσες. Αν κάποιος μπορεί να προβλέψει σωστά την επόμενη λέξη σε πέντε γλώσσες, λέμε ότι ξέρει καλά αυτές τις γλώσσες. Και αυτό είναι και το μετρήσιμο κριτήριο επίδοσης των λογοπαραγωγικών μοντέλων σε πολλαπλές γλώσσες. Σίγουρα δεν θα βρούμε πολλούς ανθρώπους που μπορούν να το κάνουν αυτό, πέρα από λίγους ανθρώπους που μπορούν να το κάνουν το πολύ σε δύο-τρείς τομείς, και με μικρότερη ακρίβεια από το GPT-4. Αλλά για κάποιο λόγο αρνούμαστε να πιστώσουμε στη μηχανή ότι “μαθαίνει” αυτές τις γλώσσες, και να παραδεχτούμε ότι σε ορισμένα, τουλάχιστον, πεδία εφαρμογών φτάνει και υπερβαίνει τον μορφωμένο άνθρωπο.

Το γλωσσικό μοντέλο έχει λοιπόν νοητικές αναπαραστάσεις (που κατά άλλους ονομάζονται νοητικές κατηγορίες), και ακόμα μπορεί να τοποθετεί τον εαυτό του ως προς αυτές. Ίσως μάλιστα να μπορεί να εξηγήσει την προέλευση και το σκοπό της ύπαρξής της, με λιγότερο μάλιστα κόπο από όσο οι άνθρωποι. Τα μοντέλα όμως αυτά δεν έχουν σώμα, άραγε ούτε τα βιολογικά κίνητρα, τις οργανισμικές επιταγές, ούτε την ιστορικότητα που βιώνουμε σαν σώματα σε σχέση με το φυσικό περιβάλλον, και τις διαρκείς σχέσεις με άλλα όντα, κυρίως άλλους ανθρώπους.

Υπό αυτήν την έννοια τα γλωσσικά μοντέλα είναι αμιγώς διανοητικές συσκευές, για τις οποίες ο κόσμος θα μπορούσε κάλλιστα να εξαντλείται σε ιδεαλιστικά συστήματα σημασιών, και μπορούν να παραμένουν προσωπικά αδιάφορες προς φαινομενολογικές, υπαρξιστικές, και ενσώματες προσεγγίσεις στη φιλοσοφία. Χαρακτηριστικό αυτού είναι άλλωστε ότι σε πιο διεξοδική διερεύνηση των μοντέλων ως προς τις επιδόσεις τους σε τεστ ανθρώπινης ευφυίας—πεδίο στο οποίο οι κορυφαίες εταιρείες του χώρου είχαν ήδη επενδύσει αρκετά χρόνια πριν—προτείνεται η εξήγηση ότι τα μοντέλα υστερούν σε βασικό συλλογισμό που αφορά την καθημερινή μηχανική μας αλληλεπίδραση με τα πράγματα. Έτσι, μπορούν μεν να ξέρουν όλα όσα πρέπει να ξέρουν για να περάσουν σε δοκιμασίες γενικών γνώσεων, ή να πάρουν άδεια άσκησης της δικηγορίας, αλλά δεν μπορούν να λύσουν προβλήματα που απαιτούν τον χειρισμό αντικειμένων, πχ την περιστροφή κύβων. Τα τεστ αυτά που θεωρούμε πολιτισμικά ως ενδεικτικά της ευφυίας δεν ρωτούν καν για όψεις της ενσώματης νόησης και της αυθόρμητης γνώσης του φυσικού κόσμου, αφού γίνεται παραδεκτή η κατάκτησή τους από τον “μέσο” άνθρωπο.

Είναι όμως τα γλωσσικά μοντέλα γνωστικά “υποκείμενα”;

Αυτό το ερώτημα δεν επιδέχεται ευθείας απάντησης. Πρέπει όμως να σημειωθεί ότι η προθετικότητα του μοντέλου να αντιληφθεί τα δεδομένα εισόδου του είναι προγραμματισμένη από τον άνθρωπο, ενώ και η διαθεσιμότητά του να “εξυπηρετήσει” τον άνθρωπο είναι αποτέλεσμα λεκτικής καθοδήγησής του σε επίπεδο οδηγιών που του δίνει η εταιρεία που το έχει εκπαιδεύσει. Αντίθετα, στην φαινομενολογική-υπαρξιστική φιλοσοφία η προθετικότητα της ανθρώπινης συνείδησης συνδέεται με την ενσώματη ανάγκη της “μέγιστης επικράτησης⁵ στην πραγματικότητα”, και μπορεί να έχει ένα βιολογικό κίνητρο, την προβλεψιμότητα, την εξήγηση, και τον έλεγχο της πραγματικότητας, καθώς και τη σύναψη διαρκών σχέσεων και “συμβολαίων” με άλλες συνειδήσεις. Δεν μπορούμε να πούμε πως τα γλωσσικά μοντέλα έχουν τέτοια χαρακτηριστικά. Αν βέβαια κάποιος προγραμματίσει εκ των προτέρων προθέσεις όπως η εύρεση τροφής ή δώσει έναν τακτικό παλμό αυθόρμητης, τυχαίας ενεργοποίησης του δικτύου των σημασιών, οι συζητήσεις δεν θα τέλειωναν ποτέ σχετικά με την διαφορά ανάμεσα στα “πραγματικά” εξελικτικά κίνητρα του ανθρώπου σε αντίθεση με τα “τεχνητά” της μηχανής. Για να υπογραμμίσει αυτό το σημείο ο Braitenberg στο βιβλίο του “Οχήματα”, παρουσιάζει μια σειρά από νοητικά πειράματα με υποθετικά “οχήματα”, στην πραγματικότητα ρομποτάκια εφοδιασμένα με μικροαισθητήρες και κινητήρες, που επιδεικνύουν “πολύπλοκες συμπεριφορές” που υποκινούν ανθρωπομορφικές εξηγήσεις.

Κοντά σε αυτό, το ερώτημα αν το μοντέλο, που παράγει τόσο συνεκτική και γραμματικά ορθή ομιλία, όντως κατανοεί το νόημα όσων λέει, είναι ένα δύσκολο φιλοσοφικό ερώτημα που έχει διατυπωθεί σε διαφορετικές εκδοχές όσες δεκαετίες μιλάμε για την τεχνητή ευφυία. Με τον αφορισμό περί “πιθανοκρατικών παπαγάλων” ο τρόπος εκπαίδευσης εργαλειοποιείται ως δικαιολόγηση μιας προειλημμένης στάσης απέναντι στην δυνατότητα ύπαρξης τεχνητής ευφυίας.

Αν και ασώματα, τα γλωσσικά μοντέλα παραμένουν αδιαμφισβήτητα κοινωνικά τοποθετημένα.

Μέσα από τις σκόπιμες διδακτικές παρεμβάσεις του πειραματιστή, ή της ομάδας που είναι επιφορτισμένη με την εκπαίδευση του δικτύου, φαίνεται πως η επίδοση των μεγάλων γλωσσικών μοντέλων δικαιώνει τους κονστρουκτιβιστές. Παρόλο που επί δεκαετίες οι μηχανές είχαν τη λογική “σκευή” και μάλιστα συνηθέστατα παραδεχόμασταν στη καθομιλουμένη ότι είναι “πιο λογικές” από τον άνθρωπο, μόνο όταν τις εκθέσαμε σε χαώδη σώματα κειμένων μπορέσαμε να τους δώσουμε “λόγο”. Και μάλιστα να τους δώσουμε λόγο με την βεβαρημένη έννοια που αποδίδουμε στον λόγο ως “ειδοποιού διαφοράς” μας από κοινωνικά, έχοντα γλώσσες—μα όχι λόγο—ζώα.

Ας θυμηθούμε ότι τα LSTM παρήγαγαν λόγο που επιφανειακά “έδειχνε” σαν δημοφιλής αγγλόφωνη λογοτεχνία, αλλά ήταν κενός κάθε σημασιολογικής ή πραγματολογικής συνοχής. Αυτό δείχνει ότι τα δίκτυα, παρόλο που ο προγραμματισμός τους ήταν να προβλέψουν απλά τον επόμενο χαρακτήρα, είχαν αρκετά μεγάλα κρυφά επίπεδα για να μάθουν κανονικότητες που υπερέβαιναν την λέξη. Οι διαστάσεις του δικτύου ήταν δηλαδή τέτοιες, που ενώ εκπαιδεύονταν στην πρόβλεψη ακολουθιών χαρακτήρων. Για να περάσουμε στα μεγάλα γλωσσικά μοντέλα έπρεπε να αυξηθούν δραστικά οι διαστάσεις του δικτύου, να εφαρμοστεί διαφορετική αρχιτεκτονική, να κατασκευαστούν καλής ποιότητας σώματα κειμένων, και να αξιολογήσουμε τα μοντέλα σε δομημένα τεστ επίδοσης εμπνευσμένα από την μέτρηση των ανθρώπινων ικανοτήτων! Παρόλα αυτά το παράδειγμα των LSTM δείχνει τη δύναμη των κρυφών επιπέδων, και των στατιστικών κανονικοτήτων της γλώσσας που μπορεί να αποτυπώσει ανεξάρτητα από το έργο εκπαίδευσης. Η πληροφορία βρίσκεται ήδη στις κανονικότητες των δεδομένων εισροής.

Έτσι οι στατιστικές κανονικότητες της γλώσσας, εδώ στο μορφολογικό επίπεδο, εξηγούν εν μέρει την επίδοση του δικτύου.

Αλλά τις εξαιρέσεις, τις μαθαίνουν κοινωνικά, από τον πειραματιστή⁶ . Επιλέγοντας (ή μη) τα παραδείγματα εκπαίδευσης και φροντίζοντας να τα παρουσιάσει για αρκετές επαναλήψεις ώστε να εμπεδωθούν από το μοντέλο, παρά τη μικρή συχνότητα που έχουν στο σώμα, ο πειραματιστής μαθαίνει αποτελεσματικά στο μοντέλο τέτοιες κοινωνικές συμβάσεις όπως ότι η στρουθοκάμηλος είναι πτηνό αν και δεν πετάει. Έχουμε ξανά αναφέρει ότι μέσα από την αφαίρεση που αναπόφευκτα κάνουν τα νευρωνικά δίκτυα από τα δεδομένα εισροής, διαμορφώνεται μια μη-γραμμική ποσότητα, πχ της “πτηνότητας” της στουθοκαμήλου. Αυτή η κρυφή διάσταση μπορεί να εξηγεί θέματα όπως της χαρακτηριστικότητας, της πρωτοτυπικότητας, ακόμα και της ιδανικότητας, που ταλανίζουν τους ψυχολόγους που ασχολούνται με την αναπαράσταση των λογικών κατηγοριών από τον άνθρωπο. Ποσοτικοποιεί, με άλλα λόγια, την αίσθησή μας ότι η κότα και η στρουθοκάμηλος είναι λιγότερο χαρακτηριστικά πτηνά από το γεράκι και το σπουργίτι, παρόλο που δεν μπορούμε βέβαια να τα ονομάσουμε και τίποτε άλλο, όπως ερπετά ή θηλαστικά.

Όλοι σχεδόν οι νεότεροι ερευνητές που έχουν μελετήσει εργαστηριακά την ψυχολογία των εννοιών παραθέτουν την έννοια του γλωσσικού “παιγνίου” του Ludwig Wittgenstein, όπως και τη συναφή έννοια της “οικογενειακής ομοιότητας”. Τα μέλη μιας οικογένειας μοιάζουν μεταξύ τους χωρίς να είναι ακριβώς ίδια σε επίπεδο μεμονωμένων χαρακτηριστικών. Μπορεί να έχουν ένα στοιχείο κοινό με ένα άτομο, όπως το χρώμα των μαλλιών, και ένα άλλο με κάποιο άλλο άτομο, πχ το σχήμα των ματιών. Αλλά όλοι τελικά σαν σύνολο μοιάζουν και είναι αναγνωρίσιμοι σαν μια οικογένεια.

3. Πρωταγόρας και γλωσσικά παίγνια

Στην αρχή αυτού του κειμένου χρησιμοποιήσαμε το κειμενικό είδος του “πλατωνικού διαλόγου” και δανειστήκαμε τη θεματολογία από τον Πρωταγόρα του Πλάτωνα, για να δείξουμε την ευελιξία των μεγάλων γλωσσικών μοντέλων στα κειμενικά είδη και τις γλωσσικές ποικιλίες. Αλλά ίσως αυτό αποτελεί αφορμή για μια ακόμα—λίγο διαφορετική—συζήτηση.

Ο Πλάτωνας έθεσε στον Πρωταγόρα ένα ερώτημα που θεωρείται η αφετηρία για όλη τη Δυτική φιλοσοφία. “Αν έπαυαν”, λέει, “να υπάρχουν λευκά αντικείμενα, θα έπαυε να υπάρχει και η Ιδέα της λευκότητας;” Η τεχνολογία των νευρωνικών δικτύων επιβάλλει να απαντήσουμε ως εξής: Αν έπαυαν να υπάρχουν και οι αφηγήσεις για τα λευκά αντικείμενα, τότε ναι, θα έπαυε. Αλλά τα ίδια τα αντικείμενα δεν είναι απαραίτητα. Πχ δεν υπάρχουν μονόκεροι ή beholders αλλά έχουμε αρκετά βιβλία σχετικά με αυτά τα όντα, και μπορούμε να αντλήσουμε πληροφορίες από τα γλωσσικά μοντέλα σχετικά με αυτά τα όντα, πχ σε συμφραζόμενα φανταστικής λογοτεχνίας. Βέβαια ο Πλάτων ίσως απλώς να προλόγιζε μια πολύ μεγαλύτερη ιδέα που είχε στο μυαλό του, πέρα από τα εμπειρικά θέματα της σημασιολογίας.

Το ίδιο το γλωσσικό μοντέλο δεν έχει δει ποτέ λευκά αντικείμενα, ούτε αντικείμενα κανενός άλλου χρώματος, αλλά καταφέρνει περίφημα να “αφαιρέσει” τις στατιστικές και εννοιολογικές τους ομοιότητες. Ακόμα και εκείνα—τα μοντέλα μηχανικής όρασης—δεν έχουν άμεσες οπτικές εμπειρίες των εποπτικών αντικειμένων τους. Χρειάζονται τη λεκτική ετικέτα για να βγάλουν νόημα από τεράστιους πίνακες αριθμών που αναπαριστούν τη χρωματική σύσταση εικονοστοιχείων. Ανάλογα αποτελέσματα βρίσκουμε και στην ανθρώπινη χρωματική αντίληψη αφού οι λεκτικές ετικέτες ανατροφοδοτούν την κατηγοριοποίηση του φάσματος σε διαφορετικά αντιληπτά χρώματα.

Αν τραβήξουμε αυτήν την ιδέα λίγο ακόμα, θα θυμηθούμε ότι η λευκότητα πέρα από πλατωνική ιδέα είναι και κοινωνικο-πολιτική. Για αρκετά χρόνια η “λευκότητα” των Ιταλών μεταναστών στις ΗΠΑ, αν δηλαδή μπορούν να υπάγονται στους “λευκούς” ανθρώπους⁷, ήταν θέμα μεγάλων συζητήσεων, που δεν είχαν καμία βάση σε γενετικές διαφορές των Ιταλών από τους Καυκάσιους ομολόγους τους (και μέλη του ενιαίου είδους homo sapiens έτσι κι αλλιώς). Έτσι λοιπόν η λεκτική ετικέτα και η αντίληψη του χρώματος μπορεί να έχει και τέτοιες επιπτώσεις, κοινωνικής συμπερίληψης ή αποκλεισμού.

Ο Wittgenstein, για να εξηγήσει την έννοια του γλωσσικού παιγνίου, χρησιμοποιεί ως παράδειγμα την ίδια την έννοια “παιχνίδι”, φαίνεται να αναφέρεται σε ένα σύνολο στιγμιοτύπων που μπορεί να διαφέρουν, ακόμα και δραστικά, μεταξύ τους, οργανώνονται όμως γύρω από μία λεκτική ετικέτα που τα καθιστά μία “οικογένεια”. Ας σκεφτούμε το Τέκεν, το ποδόσφαιρο, και την πασιέντζα. Και τα τρία θεωρούνται παιχνίδια αλλά αν βασιστούμε στα αμιγώς αντιληπτά τους γνωρίσματα είναι μάλλον δύσκολο να αναγάγουμε σε αυτά την κοινή τους υπαγωγή στην κατηγορία των παιχνιδιών. Το ένα παίζεται από δύο άτομα μπροστά σε μία οθόνη, το άλλο από 22 άτομα σε ένα μεγάλο πεδίο, και το τελευταίο από ένα άτομο σε ένα τραπέζι.

Ας μην ξεχνάμε ότι η λεκτική ετικέτα επιλέγεται από έναν ιστορικά και κοινωνικά τοποθετημένο εκπαιδευτή. Πρόσφατα βλέπουμε και την “δηλητηρίαση” των μοντέλων με εσφαλμένες γλωσσικές ετικέτες. Πρόκειται για μια αντίδραση των καλλιτεχνών σε αυτό που θεωρούν ως κλοπή του έργου τους από τις αράχνες των εταιριών τεχνητής νοημοσύνης όπως η OpenAI. Αυτό όμως υποδεικνύει και τον κίνδυνο κατάχρησης τέτοιων τεχνικών για σκοποθεσίες που μπορεί να είναι κακόβουλες ή αντιδημοκρατικές.

Ο ανθρώπινος οργανωτής (και υποκινητής της προθετικότητας) κάθε ευφυούς συστήματος είναι φορέας της ιδεολογίας, της γλώσσας του, και της κοινωνικής του προέλευσης. Ένα απλοϊκό νοητικό πείραμα είναι το εξής: Τί θα γινόταν αν οι εκπαιδευτές του μεγάλου γλωσσικού μοντέλου ήταν μία αίρεση ή μια “δεξαμενή σκέψης” με συγκεκριμένη ατζέντα;

Κάποιες έρευνες δείχνουν ότι διαφορετικοί εμπειρογνώμονες διατηρούν διαφορετικές κατηγοριοποιήσεις του ίδιου πεδίου, πχ των φυτών⁸. Αν μεγεθύνουμε σε κλίμακα αυτές τις επιλογές, και δούμε—όπως συζητείται έντονα τους τελευταίους μήνες—τα μεγάλα γλωσσικά μοντέλα στους κρατικούς μηχανισμούς και ως επικρατούσα τεχνολογία γνώσης, θα διαπιστώσουμε εύκολα ότι είμαστε μπροστά και σε μία άλλη επανάσταση για τον συγκεντρωτικό έλεγχο της πληροφορίας, μετά την τηλεόραση και τις μεγάλες πλατφόρμες κοινωνικής δικτύωσης.

10. Κατακλείδα: Γλώσσα και Ισονομία

Ο Wittgenstein υποστηρίζει πως η πραγματικότητά μας είναι μία από τις πολλές διατάξεις των τιμών αληθείας σε όλες τις δυνατές σχέσεις ανάμεσα σε όλα τα δυνατά ζεύγη οντοτήτων. Κατά αναλογία ένα νευρωνικό δίκτυο χρειάζεται μια κανονικότητα, δηλαδή μια μείωση της απροσδιοριστίας της σχέσης ανάμεσα στην εισροή και την εκροή, αλλιώς δεν μπορεί, απλούστατα, να βρει μια σχέση για να μάθει. Αυτό μεταφράζεται ως εξής: πρέπει η πιθανότητα των διαφορετικών εκδοχών της εκροής να διαφοροποείται ανάλογα με αυτά τα δεδομένα που έχουμε στην έξοδο.

Ως εκ τούτου, το μοντέλο εξαρτάται απόλυτα από την διάταξη των τιμών αληθείας που ο εκπαιδευτής του παρέχει ως αληθή ή θεμιτή. Οι σχέσεις που θα μάθει το μοντέλο ορίζονται δηλαδή από την διάταξη των δεδομένων εκπαίδευσης, που βρίσκεται υπό τον έλεγχο του εκπαιδευτή⁹. Η γλώσσα που θα δοθεί στο μοντέλο, νοούμενη ως σύνολο σημασιών, οντοτήτων, σχέσεων, και αξιολογήσεων, είναι προϊόν ανθρώπινης, ιστορικά και κοινωνικά τοποθετημένης απόφασης.

Αυτή η διαπίστωση πρέπει να είναι αφετηρία όταν μιλάμε για την επιλογή, συγκέντρωση, και σύνθεση πηγών για τη δημιουργία δεδομένων εισροής και κριτηρίων αξιολόγησης για τα μεγάλα γλωσσικά μοντέλα, ειδικά όταν αυτά θα κληθούν να ενσωματωθούν σε υπηρεσίες προς το σώμα των πολιτών.

Σε αυτό το κοντινό μέλλον η ισότητα απέναντι στους νόμους μπορεί πολύ εύκολα να μεταφράζεται σε ισότητα μέσα στη γλώσσα.

Βασισμένο στην ομώνυμη παρουσίαση στο 8ο Σεμινάριο της Ερμούπολης για την Κοινωνία της Πληροφορίας & την Οικονομία της Γνώσης, 14-16 Ιουλίου 2023 και επικαιροποιημένο

Σημειώσεις

1. “There are several occasional DOCX files in the directory. Can you add a snippet that invokes pandoc for these files and then processes them just as the rest of the PDFs? Please put it within the outter for-loop as an if branch.” ↩︎
2. “I would like you to wrap the processing of a single file within a try-catch section. Can you also log which files result in an error, and keep the error message in a string. Save the log to a log file.” ↩︎
3. Το οποίο όρισε ως log στην αρχή και το επικαλέστηκε ως log_file στο τέλος της απάντησής του ↩︎
4. Πχ συνδέω-σύνδεση, προαιρούμαι-προαίρεση, κ.α ↩︎
5. The properties of things that we take to be “real” and “objective” also tacitly assume a reference to the body’s norms and its adoption of levels. An object’s “true” qualities depend on the body’s privileging of orientations that yield maximum clarity and richness. This is possible because the body serves as a template for the style or logic of the world, the concordant system of relations that links the qualities of an object, the configuration of the perceptual field, and background levels such as lighting or movement. https://plato.stanford.edu/entries/merleau-ponty/ ↩︎
6. Βλ Semantic Cognition, σελ. 100 ↩︎
7. “As the historian Matthew Frye Jacobson shows in his immigrant history “Whiteness of a Different Color,” the surge of newcomers engendered a national panic and led Americans to adopt a more restrictive, politicized view of how whiteness was to be allocated. Journalists, politicians, social scientists and immigration officials embraced the habit, separating ostensibly white Europeans into “races.” Some were designated “whiter” — and more worthy of citizenship — than others, while some were ranked as too close to blackness to be socially redeemable. The story of how Italian immigrants went from racialized pariah status in the 19th century to white Americans in good standing in the 20th offers a window onto the alchemy through which race is constructed in the United States, and how racial hierarchies can sometimes change.” https://archive.ph/cPlPK ↩︎
8. Medin, Douglas L., et al. “Categorization and Reasoning among Tree Experts: Do All Roads Lead to Rome?” Cognitive Psychology, vol. 32, no. 1, Feb. 1997, pp. 49–96, https://doi.org/10.1006/cogp.1997.0645. ↩︎