Οι Google, Microsoft, Anthropic και OpenAI ανακοίνωσαν ότι θα υποστηρίξουν νέο πρότυπο που επιτρέπει στους ιστότοπους να αποκλείουν με μία μόνο εγγραφή στο robots.txt όλους τους crawlers που συλλέγουν δεδομένα εκπαίδευσης για γενετικά μοντέλα, όπως μεταδίδει το SiliconANGLE. Σήμερα χρειάζεται ξεχωριστή εγγραφή για κάθε πάροχο και κάθε crawler. Το σχέδιο έχει υποβληθεί στο IETF, που διαχειρίζεται το Robots Exclusion Protocol. Η Microsoft και η OpenAI θα το υποστηρίξουν τους επόμενους μήνες, η Google μέσα στο επόμενο έτος, ενώ η Microsoft προσθέτει και ρύθμιση για τη χρήση σελίδων στις απαντήσεις των εργαλείων της.

Τι σημαίνει: Για τους ιδιοκτήτες ιστοτόπων, ο έλεγχος του τι χρησιμοποιείται για την εκπαίδευση μοντέλων είναι μέχρι σήμερα κουραστικός και ατελής. Κάθε νέος crawler απαιτεί νέα εγγραφή, και πολλοί δεν ενημερώνουν τη λίστα τους. Ένα ενιαίο σήμα που αναγνωρίζουν οι μεγάλοι πάροχοι απλοποιεί σημαντικά τη διαδικασία. Η διάκριση ανάμεσα στην εκπαίδευση και στη χρήση μιας σελίδας για να απαντηθεί ερώτηση χρήστη είναι επίσης σημαντική: ένας εκδότης μπορεί να μη θέλει το περιεχόμενό του να εκπαιδεύει μοντέλα, αλλά να θέλει να εμφανίζεται ως πηγή στις απαντήσεις και να φέρνει επισκέψεις. Στην ΕΕ, η οδηγία για τα πνευματικά δικαιώματα επιτρέπει στους δικαιούχους να εξαιρούνται από την εξόρυξη κειμένων και δεδομένων με μηχανικά αναγνώσιμο τρόπο, και ο κανονισμός για την AI ζητά από τους παρόχους μοντέλων γενικής χρήσης να σέβονται τέτοιες επιφυλάξεις. Ένα αναγνωρισμένο πρότυπο κάνει αυτή την επιφύλαξη πιο σαφή και πιο εύκολα αποδείξιμη. Για ελληνικά ειδησεογραφικά sites, ηλεκτρονικά καταστήματα και εταιρείες με πρωτότυπο περιεχόμενο, αξίζει να αποφασίσουν τώρα την πολιτική τους και να την εφαρμόσουν μόλις οριστικοποιηθεί το πρότυπο, ελέγχοντας ότι δεν μπλοκάρουν κατά λάθος και τις μηχανές αναζήτησης.

Διαβάστε το πρωτότυπο στο SiliconANGLE

Σχετική υπηρεσία: Ανάπτυξη λογισμικού

Σχετικές ειδήσεις