Τα σημερινά μοντέλα AI εκπαιδεύονται να αρνούνται πολλά αιτήματα, από επικίνδυνες οδηγίες μέχρι ευαίσθητα θέματα. Το MIT Technology Review υποστηρίζει ότι αυτή η άρνηση δεν αρκεί ως μηχανισμός ασφαλείας. Οι αρνήσεις παρακάμπτονται συχνά και δεν λύνουν τα βαθύτερα προβλήματα. Η ασφάλεια χρειάζεται περισσότερα επίπεδα από ένα «όχι» του chatbot.

Τι σημαίνει: Το επιχείρημα του MIT Technology Review αγγίζει κάτι που βλέπουμε καθημερινά σε έργα με γλωσσικά μοντέλα: πολλές ομάδες στηρίζονται στο ότι το μοντέλο «δεν θα το κάνει» και παραλείπουν τους κλασικούς ελέγχους που θα έβαζαν σε οποιοδήποτε άλλο σύστημα, όπως δικαιώματα ανά χρήστη, όρια ενεργειών και καταγραφή. Η άρνηση είναι μια συμπεριφορά που έμαθε το μοντέλο από δεδομένα εκπαίδευσης, δεν είναι κανόνας γραμμένος σε κώδικα — άρα μπορεί να αλλάξει με μια νέα έκδοση, με διαφορετική διατύπωση του αιτήματος ή με περιεχόμενο που εισάγεται κρυφά από ένα έγγραφο ή μια ιστοσελίδα. Για μια επιχείρηση που βάζει chatbot ή agent στην εξυπηρέτηση πελατών, το πρακτικό συμπέρασμα είναι ότι το μοντέλο πρέπει να έχει πρόσβαση μόνο σε ό,τι χρειάζεται, οι ευαίσθητες ενέργειες (επιστροφές χρημάτων, αλλαγές λογαριασμού, αποστολές email) να περνούν από ξεχωριστό έλεγχο ή ανθρώπινη έγκριση, και κάθε κλήση εργαλείου να καταγράφεται ώστε να ελέγχεται εκ των υστέρων. Με αυτόν τον τρόπο, ακόμη κι αν κάποιος καταφέρει να ξεγελάσει το μοντέλο, η ζημιά μένει περιορισμένη, και η ασφάλεια δεν εξαρτάται από το αν ένα στατιστικό σύστημα θα πει «όχι» τη σωστή στιγμή.

Διαβάστε το πρωτότυπο στο MIT Technology Review

Σχετική υπηρεσία: Ανάπτυξη λογισμικού

Σχετικές ειδήσεις