Μια λογιστική μονάδα είναι χρήσιμο πράγμα. Ακόμη και προτού το χρήμα γίνει ευρέως διαδεδομένο, οι άνθρωποι προσπαθούσαν να επινοήσουν τυποποιημένους τρόπους αποτίμησης των πραγμάτων. Στην «Ιλιάδα», η αξία μιας πανοπλίας κατασκευασμένης από χαλκό ή χρυσό εκφραζόταν σε αριθμό βοδιών (εννέα για τη χάλκινη, 100 για τη χρυσή). Γούνινα δέρματα ζώων, γιγάντιες πέτρες και σωροί αλατιού έχουν χρησιμοποιηθεί όλα ως πρότυπα μέτρησης της αξίας.
Ο κόσμος της τεχνητής νοημοσύνης διέπεται από τη δική του μονάδα: το token. Πρόκειται για μικρά τμήματα κειμένου, συνήθως τεσσάρων χαρακτήρων, τα οποία ένα μοντέλο τεχνητής νοημοσύνης διαβάζει ή παράγει ως απάντηση. Το πρόβλημα με τα tokens, ωστόσο, είναι ότι δεν λειτουργούν τόσο απλά όσο τα βόδια ή τα δέρματα ζώων. Κατ’ αρχάς, δεν είναι σαφές εκ των προτέρων πόσα tokens μπορεί να καταναλώσει μια συγκεκριμένη εργασία. Οι δημιουργοί μοντέλων χρεώνουν επίσης δραματικά διαφορετικές τιμές: ένα δημοφιλές μοντέλο που προσφέρει η DeepSeek, μια κινεζική νεοφυής επιχείρηση, κοστίζει ανά token περίπου το ένα τεσσαρακοστό της τιμής ενός μοντέλου αιχμής που έχει αναπτύξει η Anthropic, ένα από τα κορυφαία αμερικανικά εργαστήρια.
Για τις επιχειρήσεις που χρησιμοποιούν τεχνητή νοημοσύνη, αυτή η κατάσταση αποτελεί συνταγή απογοήτευσης. Μια απλή εργασία, όπως το να ζητηθεί από ένα μοντέλο να επεξεργαστεί τιμολόγια, θα μπορούσε να οδηγήσει σε έναν τεράστιο λογαριασμό. Για να προστατευθούν από αυτό, ορισμένες επιχειρήσεις θέτουν ανώτατα όρια στον αριθμό των tokens που μπορούν να καταναλώνουν οι εργαζόμενοί τους. Αυτό, όμως, μπορεί να εμποδίσει την παραγωγικότητα. Αυτή η σύγχυση έχει γεννήσει ένα νέο είδος επιχείρησης: την αγορά μοντέλων τεχνητής νοημοσύνης.
Η πιο γνωστή από αυτές τις αγορές είναι η OpenRouter, την οποία συνίδρυσε το 2023 ο Άλεξ Αταλάχ. Μετά την κυκλοφορία του ChatGPT, ο κ. Αταλάχ άρχισε να αναρωτιέται τι είδους κόσμος διαμορφωνόταν. «Το μεγαλύτερο ερώτημά μου εκείνη την εποχή ήταν: θα μπορούσε αυτή να είναι μια αγορά στην οποία ο νικητής τα παίρνει όλα και κυριαρχεί η OpenAI;», λέει. Αμφέβαλλε ότι θα συνέβαινε κάτι τέτοιο, καταλήγοντας στο συμπέρασμα ότι οι αγορές μοντέλων θα διαδραμάτιζαν κεντρικό ρόλο στη βιομηχανία της τεχνητής νοημοσύνης.
Η OpenRouter επιτρέπει στους πελάτες να εναλλάσσουν εύκολα τα μοντέλα που χρησιμοποιούν. Εάν το Claude της Anthropic δεν λειτουργεί, μπορούν να χρησιμοποιήσουν κάποιο μοντέλο της OpenAI. Ή μπορούν να αλλάξουν μοντέλο όταν κάποιο εργαστήριο προσφέρει tokens σε συμφέρουσα τιμή. Η OpenRouter χρεώνει μια μικρή προμήθεια για τη χρήση που διεκπεραιώνεται μέσω της πλατφόρμας της. Οι δουλειές πηγαίνουν τόσο καλά ώστε, τον Αύγουστο, η Stripe, ένας κολοσσός στον τομέα των πληρωμών, συμφώνησε να αγοράσει την πλατφόρμα. Σύμφωνα με πληροφορίες, θα καταβάλει 7,5 δισ. δολάρια για μια επιχείρηση που μετρά μόλις τρία χρόνια ζωής.
Η OpenRouter δεν είναι η μοναδική αγορά μοντέλων. Παρόμοιες υπηρεσίες λειτουργούν και οι μεγάλοι πάροχοι υπολογιστικού νέφους. Η Amazon προσφέρει μια σειρά μοντέλων μέσω του Bedrock, με τη χρέωση να πραγματοποιείται βάσει των υφιστάμενων συμβάσεων παροχής υπηρεσιών νέφους. Η Google προσφέρει το ίδιο μέσω της υπηρεσίας Vertex AI. Ωστόσο, πολλοί πελάτες αντιμετωπίζουν τέτοιες προσφορές με καχυποψία: οι κολοσσοί του υπολογιστικού νέφους, οι οποίοι αναπτύσσουν τα δικά τους μοντέλα και επενδύουν στα εργαστήρια που δημιουργούν τα πιο προηγμένα μοντέλα, κάθε άλλο παρά ουδέτεροι είναι.
Η OpenRouter απέκτησε αρχικά απήχηση μεταξύ των προγραμματιστών, καθώς προσέφερε έναν τρόπο να πειραματίζονται με πολλά διαφορετικά μοντέλα και ένα μέσο για να διαπιστώνουν γρήγορα ποιο θα είχε την καλύτερη απόδοση. Μετά την κυκλοφορία του ChatGPT, πολλά εργαστήρια τεχνητής νοημοσύνης επιδόθηκαν στο λεγόμενο «benchmaxxing» — τη δημιουργία μοντέλων που μπορούσαν να περνούν με άριστα ορισμένες δοκιμασίες, όπως το SAT, αλλά δυσκολεύονταν σε πιο χρήσιμες εργασίες. Στην αγορά της OpenRouter, οι πελάτες ψηφίζουν με τα χρήματά τους, δημιουργώντας ένα δικαιότερο σύστημα κατάταξης.
Πιο πρόσφατα, οι εταιρείες στράφηκαν στην OpenRouter ως εργαλείο ελέγχου του κόστους. Είναι χαρακτηριστικό ότι τα φθηνά συστήματα που προσφέρουν η DeepSeek και δύο άλλοι Κινέζοι κατασκευαστές μοντέλων, η Z.ai και η Xiaomi, κυριαρχούν στην κατανάλωση tokens στην πλατφόρμα (αν και ένα μοντέλο της OpenAI έχει επίσης καλές επιδόσεις αυτή την περίοδο).
Ακόμη κι έτσι, ο κ. Αταλάχ υποστηρίζει ότι πολλές επιχειρήσεις συνεχίζουν να ακολουθούν μια ανεπαρκώς εξελιγμένη προσέγγιση όσον αφορά τη χρήση των tokens. Συνιστά στους εταιρικούς πελάτες του να διαχωρίζουν τις εργασίες σε κατηγορίες χαμηλής, μεσαίας και υψηλής «εντροπίας», ανάλογα με το πόσο ευρύ είναι το αντικείμενο της εργασίας.
Τα φθηνά μοντέλα είναι συχνά επαρκή για εργασίες χαμηλής εντροπίας, όπως η επιλογή του μοντέλου που θα πρέπει να ελέγξει κάποιον κώδικα, αλλά και για πολλές εργασίες μεσαίας εντροπίας, όπως ο ίδιος ο έλεγχος αυτού του κώδικα. Τα μοντέλα αιχμής μπορούν να χρησιμοποιούνται αποκλειστικά για εργασίες υψηλής εντροπίας, όπως η συγγραφή κώδικα από το μηδέν.
«Το λάθος που βλέπω να κάνουν πολλές εταιρείες είναι ότι απλώς δεν αναλύουν όλα αυτά τα πράγματα σε επιμέρους εργασίες. Για εκείνες, όλα είναι το ίδιο», λέει ο κ. Αταλάχ.
«Αυτό είναι απλώς μια τεράστια σπατάλη χρημάτων».