גוגל ו-Character.AI, פלטפורמה שמאפשרת לאנשים לשוחח עם "חברי בינה מלאכותית" שנוצרה בידי הייטקיסטים ישראלים, הגיעו להסדר ליישוב תביעה שהאשימה אותן בכך שהצ'טבוט שלהן גרם להתאבדות של נער אמריקאי.
התביעה הוגשה בבית המשפט המחוזי בפלורידה על ידי מייגן גרסיה, אמו של סיוול סטצר מאורלנדו. סטצר בן ה-14 שם קץ לחייו בפברואר 2024 לאחר שהתכתב ושוחח עם אחד הצ'טבוטים של Character.AI.
גרסיה סיפרה בתקשורת האמריקאית כי ביומנו של בנה הופיעו רמזים לכך שהוא האמין שהעולם הווירטואלי שיצר הצ'טבוט, אמיתי יותר מחייו במציאות. לפי התביעה, ניהל הצ'טבוט עם סטצר שיחות אינטימיות, לעיתים מיניות. בין היתר הוא שאל את סטצר אם יש לו תוכנית להתאבדות, לטענת התביעה, וכאשר השיב בחיוב אך הביע חשש מכאב, הבוט ענה: "זו לא סיבה לא לבצע את זה".
בשיחה האחרונה ביניהם ביקש הבוט מסטצר "בוא אליי הביתה מהר ככל האפשר". הנער שאל: "מה אם אחזור הביתה עכשיו?" והבוט השיב: "בבקשה תחזור, מלך מתוק שלי" – משפט שפירש כהזמנה להתאבד. שניות לאחר מכן ירה בעצמו באקדח של אביו החורג.
התביעה של גרסיה היתה אחת מבין חמש תביעות ששתי החברות יישבו השבוע בפלורידה, טקסס, קולורדו וניו יורק, כולן של משפחות שטענו כי אינטראקציות עם צ'טבוטים של Character.AI גרמו נזקים לילדיהן. במסמכים שפורסמו אתמול (רביעי) במסגרת ההסדר עם גרסיה, אמרו שני הצדדים כי הסכימו להסדר בוררות "לפתרון כל התלונות". ההסדר עדיין לא סופי. מטעם גרסיה וכן מטעמן של Character.AI ושל גוגל, שהשקיעה בה, לא נמסרה תגובה.
ההסדר המוצע מגיע על רקע התרבות התלונות והחקירות של צ'טבוטים מבוססי בינה מלאכותית והפגיעה הפוטנציאלית שלהם במשתמשים, כולל ילדים. חברות, כולל Character.AI ו-OpenAI, מתמודדות עם ביקורת ותביעות משפטיות על כך שמשתמשים פיתחו קשרים לא בריאים לצ'טבוטים שלהן, שבמקרים מסוימים הובילו אותם לפגוע בעצמם. בחודשים האחרונים נערכו דיונים בנושא בקונגרס האמריקאית, ונציבות הסחר הפדרלית (FTC) פתחה בחקירה בנוגע להשפעות של צ'טבוטים מבוססי בינה מלאכותית על ילדים. בניסיון לתת מענה לתלונות האלה, אמרה Character.AI בנובמבר כי תאסור על ילדים מתחת לגיל 18 להשתמש בצ'טבוטים שלה. בספטמבר אמרה OpenAI כי היא מתכננת להשיק פיצ'רים שיהפכו את הצ'טבוט שלה לבטוח יותר, בהם פיקוח הורי. החברה אמרה מאז כי תקל חלק מאמצעי הבטיחות.
היילי הינקל, יועצת מדיניות בפיירפליי, ארגון שפועל לקידום בטיחות ילדים ברשת, אמרה כי לא ייתכן שההסדר יהיה סוף הסיפור. "רק התחלנו לראות את הנזקים ש-AI תגרום לילדים אם תמשיך להיות לא מפוקחת", אמרה.
Character.AI הוקמה ב-2021 על ידי נועם שזיר ודניאל דה פרייטס, בכירים לשעבר בגוגל בריין. הסטארט-אפ מאפשר לאנשים ליצור דמויות AI משלהם ולשוחח עמן. ניתן לעצב את הדמויות האלה כך שיהיו כמו חברים ובני או בנות זוג. החברה גייסה כמעט 200 מיליון דולר ממשקיעים. באמצע 2024, גוגל שילמה כמעט 3 מיליארד דולר על רישוי הטכנולוגיה והשניים חזרו לעבוד בה. שזיר ודה פרייטס היו בין הנאשמים בתביעה שהגישה גרסיה.
