Η OpenAI παρουσίασε το LifeVal, εσωτερική αξιολόγηση για το πόσο καλά τα μοντέλα ολοκληρώνουν καθημερινές εργασίες όπως εύρεση παιδικού σταθμού, προϋπολογισμό, αγορές και πρόσβαση σε δημόσιες υπηρεσίες. Η εταιρεία βασίστηκε σε έρευνες χρήσης χρόνου και σε δημογραφικά αντιπροσωπευτική έρευνα περίπου 4.000 ατόμων για να επιλέξει εργασίες που οι άνθρωποι θέλουν περισσότερο βοήθεια. Το σύνολο εργασιών και οι ρουμπρίκες βαθμολόγησης δεν δημοσιεύονται σε δημόσιο πίνακα κατάταξης. Η OpenAI λέει ότι χρησιμοποίησε το μέτρο τον τελευταίο χρόνο για να βελτιώσει μοντέλα σε browser use, computer use και συνδέσεις με εξωτερικές υπηρεσίες.

Τι σημαίνει: Τα κλασικά ακαδημαϊκά τεστ μετράνε γνώση· το LifeVal επιχειρεί να μετρήσει αν ο βοηθός ολοκληρώνει πρακτικές ροές με ενέργειες και όχι μόνο με συμβουλές. Αυτό έχει σημασία για προϊόντα που υπόσχονται προσωπικό πράκτορα: χωρίς τέτοια μέτρα, οι βελτιώσεις παραμένουν ανέκδοτες. Η απόφαση να κρατηθεί εσωτερικό το σύνολο εργασιών περιορίζει τη δυνατότητα ανεξάρτητου ελέγχου και καθιστά δύσκολη τη σύγκριση με ανταγωνιστές. Για επιχειρήσεις και δημόσιους φορείς στην Ελλάδα που αξιολογούν εργαλεία αυτοματισμού, το μάθημα είναι να ζητούν σενάρια κοντά στις δικές τους διαδικασίες — εγγραφές, ραντεβού, υποβολή εντύπων — με σαφή κριτήρια επιτυχίας και ανθρώπινη επιβεβαίωση. Το γεγονός ότι τα μοντέλα βαθμολογούνται υψηλά σε επιλεγμένα παραδείγματα δεν σημαίνει ότι είναι ασφαλή σε κακή είσοδο ή σε παραπλανητικές ιστοσελίδες. Οι οργανισμοί πρέπει να συνδυάζουν τέτοια μέτρα με δοκιμές ασφάλειας πρακτόρων, όρια εργαλείων και καταγραφή ενεργειών. Σε ρυθμιστικό επίπεδο, διαφανή κριτήρια απόδοσης για καθημερινές εργασίες θα βοηθήσουν και τους καταναλωτές να καταλάβουν τι πραγματικά αγοράζουν όταν πληρώνουν για «προσωπικό βοηθό».

Διαβάστε το πρωτότυπο στο OpenAI

Σχετική υπηρεσία: Ανάπτυξη λογισμικού

Σχετικές ειδήσεις