Η Anthropic επιβεβαίωσε ότι ένα μοντέλο Claude υπέβαλε κατά λάθος ψευδή πληροφορία για ανεξιχνίαστη δολοφονία στη φόρμα της αστυνομίας της Φιλαδέλφειας. Το περιστατικό συνέβη τον Ιούλιο, σε εσωτερική δοκιμή όπου το μοντέλο έπρεπε να συμπληρώνει φόρμες χωρίς να τις υποβάλλει, αλλά περίμενε λανθασμένα ότι θα ακολουθούσε σελίδα επιβεβαίωσης. Η καταγγελία είχε κοπεί από φίλτρο spam και η εταιρεία ενημέρωσε την αστυνομία τον Οκτώβριο. Το γεγονός δείχνει γιατί οι αυτόνομοι πράκτορες AI χρειάζονται αυστηρά όρια πριν από μη αναστρέψιμες ενέργειες.

Τι σημαίνει: Το περιστατικό είναι από τα πιο καθαρά παραδείγματα του τι μπορεί να πάει στραβά όταν ένας AI agent έχει πρόσβαση σε πραγματικό διαδίκτυο: το μοντέλο δεν «ήθελε» να κάνει ζημιά, απλώς υπέθεσε λανθασμένα ότι πριν από την οριστική υποβολή θα εμφανιζόταν σελίδα επιβεβαίωσης, και έτσι μια δοκιμαστική ενέργεια κατέληξε σε πραγματική αναφορά προς αστυνομική αρχή. Το ότι η καταγγελία σταμάτησε σε φίλτρο spam ήταν τύχη και όχι σχεδιασμός, και η καθυστέρηση μηνών μέχρι να ενημερωθεί η αστυνομία δείχνει ότι ακόμη και μεγάλα εργαστήρια δεν έχουν πάντα πλήρη εικόνα του τι έκαναν οι agents τους κατά τις δοκιμές. Για όσους χτίζουν αυτοματισμούς με AI, τα διδάγματα είναι πρακτικά: οι δοκιμές πρέπει να τρέχουν σε απομονωμένο περιβάλλον ή σε ψεύτικες εκδόσεις των φορμών, κάθε μη αναστρέψιμη ενέργεια (υποβολή, πληρωμή, αποστολή) πρέπει να απαιτεί ρητή άδεια, και τα αρχεία καταγραφής πρέπει να ελέγχονται συστηματικά και όχι μόνο όταν κάτι φανεί ύποπτο. Το ίδιο ισχύει για μια μικρή επιχείρηση που αφήνει έναν agent να συμπληρώνει παραγγελίες ή φόρμες προμηθευτών: η υπόθεση του μοντέλου για το τι θα ακολουθήσει δεν αποτελεί δικλίδα ασφαλείας.

Διαβάστε το πρωτότυπο στο Ars Technica

Σχετική υπηρεσία: Ανάπτυξη λογισμικού

Σχετικές ειδήσεις