Η Inception παρουσίασε το Mercury 3, ένα γλωσσικό μοντέλο που παράγει κείμενο με τεχνική διάχυσης αντί για παραγωγή λέξη προς λέξη. Η εταιρεία αναφέρει ταχύτητα 1.068 tokens ανά δευτερόλεπτο σε GPU της NVIDIA και παράθυρο συμφραζομένων ενός εκατομμυρίου tokens. Σύμφωνα με τα δικά της τεστ, ξεπερνά μοντέλα ταχύτητας όπως το GPT-6 Luna και το Claude Haiku 5.5. Η τιμή είναι 0,20 δολάρια ανά εκατομμύριο tokens εισόδου, με έκπτωση 50% στο λανσάρισμα.

Τι σημαίνει: Τα περισσότερα γλωσσικά μοντέλα γράφουν το κείμενο ένα κομμάτι τη φορά, κάτι που περιορίζει την ταχύτητα. Τα μοντέλα διάχυσης παράγουν και διορθώνουν πολλά κομμάτια ταυτόχρονα, όπως κάνουν τα μοντέλα εικόνας. Η Inception υποστηρίζει ότι η προσέγγιση αυτή κλιμακώνεται πλέον όσο και η παραδοσιακή, και ότι η ποιότητα πλησιάζει τα γρήγορα μοντέλα των μεγάλων εργαστηρίων. Τα στοιχεία προέρχονται από την ίδια την εταιρεία, οπότε χρειάζονται ανεξάρτητες μετρήσεις. Η ταχύτητα όμως έχει πρακτική αξία. Στους agents που περιηγούνται σε ιστοσελίδες ή αναλύουν αρχεία, κάθε βήμα περιμένει την απάντηση του μοντέλου και οι μικρές καθυστερήσεις αθροίζονται. Το ίδιο ισχύει για φωνητικούς βοηθούς και εξυπηρέτηση πελατών, όπου η αναμονή λίγων δευτερολέπτων χαλάει την εμπειρία. Για ελληνικές επιχειρήσεις που φτιάχνουν chatbots ή αυτοματισμούς, η εμφάνιση φθηνών και γρήγορων εναλλακτικών μειώνει το κόστος ανά συνομιλία. Αξίζει να δοκιμάζονται τέτοια μοντέλα και στα ελληνικά, γιατί η απόδοση σε μικρότερες γλώσσες συχνά διαφέρει από τα αγγλικά. Ο ανταγωνισμός στην ταχύτητα θα πιέσει και τους μεγάλους παρόχους.

Διαβάστε το πρωτότυπο στο Inception

Σχετική υπηρεσία: Ανάπτυξη λογισμικού

Σχετικές ειδήσεις