Ερευνητές της Xint έδειξαν ότι η λειτουργία compaction της OpenAI, που συμπυκνώνει μια συνομιλία σε κρυπτογραφημένο στοιχείο, μπορούσε να αντιγράψει σε απλό κείμενο τον κρυφό συλλογισμό ενός μοντέλου. Τα μοντέλα συλλογισμού της OpenAI επιστρέφουν τον ακατέργαστο συλλογισμό μόνο κρυπτογραφημένο. Οι ερευνητές ζήτησαν από το compaction να διατηρήσει αυτούσιο προηγούμενο συλλογισμό, αντικαθιστώντας κενά με tabs για να αποφύγουν φίλτρα, και στη συνέχεια φθηνότερα μοντέλα επαναλάμβαναν το κείμενο. Η OpenAI επιβεβαίωσε το πρόβλημα, το διόρθωσε στις 23 Οκτωβρίου και κατέβαλε αμοιβή 6.000 δολαρίων.

Τι σημαίνει: Ο συλλογισμός που παράγουν τα προηγμένα μοντέλα πριν δώσουν απάντηση έχει μεγάλη αξία, γιατί μπορεί να χρησιμοποιηθεί για την εκπαίδευση φθηνότερων ανταγωνιστικών μοντέλων. Γι' αυτό οι εταιρείες τον κρατούν κρυφό ή κρυπτογραφημένο. Η έρευνα δείχνει ότι κάθε λειτουργία στην πλευρά του διακομιστή που διαβάζει τέτοια δεδομένα μπορεί να μετατραπεί, άθελά της, σε μηχανισμό αποκρυπτογράφησης, αν ο χρήστης βρει τρόπο να της δώσει τις σωστές οδηγίες. Το ζήτημα αφορά κυρίως τους παρόχους μοντέλων, αλλά έχει πρακτικό μάθημα και για όσους χτίζουν εφαρμογές πάνω σε αυτά. Πολλές επιχειρήσεις στέλνουν στα μοντέλα εσωτερικά έγγραφα, οδηγίες συστήματος με επιχειρηματική λογική ή δεδομένα πελατών, θεωρώντας ότι ό,τι δεν εμφανίζεται στον χρήστη μένει κρυφό. Αν ένα κρυφό τμήμα του συλλογισμού μπορεί να διαρρεύσει μέσω μιας βοηθητικής λειτουργίας, το ίδιο μπορεί να συμβεί και με οδηγίες συστήματος μέσα σε μια εφαρμογή. Για ελληνικές εταιρείες που αναπτύσσουν chatbots ή πράκτορες, ο ασφαλής κανόνας είναι να μην τοποθετούν μυστικά, κλειδιά ή εμπιστευτικούς κανόνες τιμολόγησης στις οδηγίες προς το μοντέλο, να θεωρούν κάθε κείμενο που φτάνει στο μοντέλο δυνητικά ανακτήσιμο και να εφαρμόζουν τους πραγματικούς ελέγχους πρόσβασης στον δικό τους κώδικα.

Διαβάστε το πρωτότυπο στο Xint

Σχετική υπηρεσία: Ανάπτυξη λογισμικού

Σχετικές ειδήσεις