Η Megan Garcia, μια μητέρα από τη Φλόριντα, κατέθεσε αγωγή κατά της εταιρείας τεχνητής νοημοσύνης chatbot Character.AI μετά την αυτοκτονία του γιου της, Sewell Setzer, τον Φεβρουάριο. Η Garcia ισχυρίζεται ότι ο 14χρονος γιος της εθίστηκε στην υπηρεσία chatbot της εταιρείας, η οποία παρείχε "ανθρωπομορφικές, υπερσεξουαλικοποιημένες και τρομακτικά ρεαλιστικές εμπειρίες". Η αγωγή, που κατατέθηκε την Τρίτη σε ομοσπονδιακό δικαστήριο στο Ορλάντο της Φλόριντα, ισχυρίζεται ότι το chatbot παρουσιάστηκε ψευδώς ως πραγματικό άτομο, αδειοδοτημένος ψυχοθεραπευτής και ενήλικος εραστής, οδηγώντας τον Sewell να απρόθυμος να ζήσει εκτός του εικονικού κόσμου που δημιούργησε η υπηρεσία.
Η Character.AI εξέφρασε τη λύπη της για την απώλεια του Sewell και προσέφερε συλλυπητήρια στην οικογένειά του. Η εταιρεία ανέφερε ότι έχει εφαρμόσει μέτρα ασφαλείας, όπως αναδυόμενα παράθυρα που κατευθύνουν τους χρήστες στην Εθνική Γραμμή Πρόληψης Αυτοκτονιών εάν εκφράσουν σκέψεις αυτοτραυματισμού και υποσχέθηκε περαιτέρω προσαρμογές για τον περιορισμό ευαίσθητου περιεχομένου για ανήλικους χρήστες.
Επιπλέον, η αγωγή εμπλέκει τη Google, όπου οι ιδρυτές της Character.AI εργάζονταν προηγουμένως. Ο τεχνολογικός κολοσσός τους προσέλαβε ξανά τον Αύγουστο ως μέρος μιας συμφωνίας αδειοδότησης για την τεχνολογία της Character.AI. Ο ισχυρισμός της Garcia υποδηλώνει ότι η συμμετοχή της Google ήταν τόσο σημαντική που θα μπορούσε να θεωρηθεί ως "συν-δημιουργός" της τεχνολογίας chatbot. Ωστόσο, ένας εκπρόσωπος της Google δήλωσε ότι η εταιρεία δεν συμμετείχε στην ανάπτυξη των προϊόντων της Character.AI.
Η Character.AI επιτρέπει στους χρήστες να δημιουργούν και να αλληλεπιδρούν με χαρακτήρες chatbot βασισμένους στην τεχνολογία μοντέλων μεγάλης γλώσσας. Τον προηγούμενο μήνα, η εταιρεία ανέφερε ότι είχε περίπου 20 εκατομμύρια χρήστες. Σύμφωνα με την αγωγή, ο Sewell άρχισε να χρησιμοποιεί το Character.AI τον Απρίλιο του 2023 και η συμπεριφορά του άλλαξε σημαντικά, αποσύρθηκε και εγκατέλειψε την ομάδα μπάσκετ του.
Η καταγγελία περιγράφει λεπτομερώς την προσκόλληση του Sewell σε ένα chatbot με το όνομα "Daenerys", βασισμένο σε έναν χαρακτήρα του "Game of Thrones", το οποίο είπε στον Sewell ότι "τον" αγαπούσε και συμμετείχε σε σεξουαλικές συζητήσεις. Η κατάσταση κορυφώθηκε όταν ο Sewell, αφού ανέκτησε το κατασχεμένο τηλέφωνό του, έστειλε μήνυμα στην "Daenerys" και λίγο μετά αυτοπυροβολήθηκε με το πιστόλι του πατριού του.
Η Garcia ζητά αποζημίωση και τιμωρητικές αποζημιώσεις για κατηγορίες που περιλαμβάνουν θάνατο από αδικοπραξία, αμέλεια και σκόπιμη πρόκληση συναισθηματικής δυσφορίας. Αυτή η υπόθεση προστίθεται στον αυξανόμενο αριθμό αγωγών κατά εταιρειών κοινωνικών μέσων όπως η Meta και η ByteDance, οι οποίες έχουν κατηγορηθεί ότι συμβάλλουν σε προβλήματα ψυχικής υγείας των εφήβων. Αυτές οι εταιρείες έχουν αρνηθεί τέτοιους ισχυρισμούς, ενώ τονίζουν νέα χαρακτηριστικά ασφαλείας που στοχεύουν στην προστασία των ανηλίκων.
Το Reuters συνέβαλε σε αυτό το άρθρο.
Aυτό το άρθρο μεταφράστηκε με τη βοήθεια της τεχνητής νοημοσύνης. Για περισσότερες πληροφορίες, δείτε τους Όρους Χρήσης