Ο ερευνητικός οργανισμός Epoch AI δημοσίευσε ελέγχους σε 21 δημοφιλή benchmarks που χρησιμοποιούνται για τη σύγκριση μοντέλων AI και χαρακτήρισε τα 10 ως προβληματικά. Στο SWE-bench Verified, που μετρά ικανότητες προγραμματισμού, βρέθηκαν ελαττωματικά τεστ στο 59,4% των εργασιών που ελέγχθηκαν, δηλαδή τουλάχιστον στο 16,4% του συνόλου. Στο Humanity's Last Exam, 22 από τις 48 ερωτήσεις του δείγματος είχαν λάθη στις απαντήσεις ή στη διατύπωση. Ο οργανισμός δημοσιεύει τα ευρήματα ανά benchmark ώστε να διορθωθούν ή να ερμηνεύονται με προσοχή.

Τι σημαίνει: Όταν μια εταιρεία AI ανακοινώνει νέο μοντέλο, τα benchmarks είναι συνήθως το βασικό επιχείρημα: ένα ποσοστό στο SWE-bench ή στο Humanity's Last Exam γίνεται τίτλος. Ο έλεγχος της Epoch δείχνει ότι μεγάλο μέρος αυτών των αριθμών περιέχει θόρυβο, αφού τεστ που απορρίπτουν σωστές λύσεις ή ερωτήσεις με λάθος απάντηση μπορούν να μετακινήσουν την κατάταξη κατά αρκετές μονάδες. Για ελληνικές επιχειρήσεις που επιλέγουν μοντέλο ή εργαλείο AI για προγραμματισμό, εξυπηρέτηση πελατών ή ανάλυση εγγράφων, το συμπέρασμα είναι να μην αποφασίζουν με βάση μια διαφορά δύο ή τριών μονάδων σε δημόσιους πίνακες. Είναι πιο αξιόπιστο να φτιάξουν ένα μικρό δικό τους σύνολο δοκιμών με πραγματικές εργασίες, για παράδειγμα 30 έως 50 τυπικά αιτήματα με γνωστή σωστή απάντηση, και να μετρούν ακρίβεια, χρόνο και κόστος. Το ίδιο ισχύει για προμηθευτές που πουλούν λύσεις AI: οι ισχυρισμοί πρέπει να συνοδεύονται από επίδειξη σε δεδομένα του πελάτη. Τα ελληνικά είναι επιπλέον μια γλώσσα που τα διεθνή benchmarks σπάνια καλύπτουν, οπότε η εσωτερική αξιολόγηση έχει ακόμη μεγαλύτερη αξία. Η δουλειά της Epoch βοηθά επίσης όσους γράφουν προδιαγραφές διαγωνισμών να ζητούν πιο ουσιαστικές μετρήσεις από απλές βαθμολογίες.

Διαβάστε το πρωτότυπο στο Epoch AI

Σχετική υπηρεσία: Ανάπτυξη λογισμικού

Σχετικές ειδήσεις