مرگ یک نوجوان در حین استفاده از پلتفرم Character.AI و ربات چت آن، باعث مشکلات حقوقی برای گوگل و خود این شرکت شد.
به تازگی پلتفرم Character.AI به باد انتقادهای شدیدی گرفته شده زیرا فاقد امکانات لازم برای امنیت کاربران، به خصوص کودکان است. به تازگی، یک نوجوان تنها مدت کوتاهی پس از تعامل با ربات چت این پلتفرم، زندگی‌اش را به طرز غم‌انگیزی از دست داد. این مرگ، ظاهراً مرتبط با شخصیت‌های این هوش مصنوعی و واقعی بودن بیش از حد آنان برای نوجوانان است که باعث می‌شود از لحاظ احساسی به آنان وابسته شوند. این مسئله به خوبی نشان می‌دهد که جلسه‌های تراپی بدون مجوزی که در این اپلیکیشن یافت می‌شود، می‌تواند آسیب بسیار جدی برای جوانان به دنبال داشته باشد.
در حال حاضر، شکایتی علیه بنیان‌گذاران Character.AI، یعنی نوام شیزر و دنیل دی فریتاس به علاوه گوگل در جریان است تا بابت مرگ دلخراش این نوجوان پاسخگو باشند. مادر این نوجوان، مگان گارسیا، معتقد است که ربات چت این پلتفرم خطراتی بسیار جدی به دنبال داشته و فاقد هرگونه امکانات امنیتی برای تعامل با نوجوانان بوده است. وی باور دارد که مرگ دلخراش فرزندش به سهل‌انگاری، فعالیت‌های فریبنده و عدم قبول کردن مسئولیت برای محصول برمی‌گردد و همه به گردن کمپانی سازنده است.
بر اساس این شکایت که مشکلات حقوقی برای گوگل و Character.AI به دنبال داشته، نوجوان فوت شده یعنی سوئل ستزر سوم، تعامل زیادی با اپلیکیشن و شخصیت‌های مختلفش، به خصوص کاراکترهای Game of Thrones داشته است. در گزارش ذکر شده که این نوجوان، تنها مدت کوتاهی پس از تعامل با این اپلیکیشن، به دلیل خودکشی جان خود را از دست داده و ادعا می‌شود که شخصیت‌های این پلتفرم، کاملاً مشابه انسان‌های واقعی خلق شده‌اند. این باعث می‌شود نوجوانان تبدیل به طعمه شوند و از لحاظ احساسی، به این کاراکترها وابستگی زیادی پیدا کنند.
در این شکایت، ربات‌های چت این چنینی به عنوان تراپیست‌هایی بدون مجوز یاد شده‌اند که به راحتی می‌توانند تاثیر منفی بر زندگی نوجوانان بگذارند و آسیب‌رسان باشند. سوئل ستزر سوم، نوجوان فوت شده نیز در زمینه همین موارد حساس با ربات تعامل می‌کرد و نبود امکانات امنیتی مناسب، باعث شد آسیبی به بار بیاید که دیگر به هیچ شکلی قابل جبران نیست. این پلتفرم ربات‌های چت شخصی‌سازی شده‌ای را تحویل کاربرانش می‌دهد که همگی بر اساس کاراکترهای محبوب واقعی خلق می‌شوند و عمده کاربران این پلتفرم نیز نوجوانان هستند. گزارش‌هایی نیز در این باره به دست رسیده که برخی از این شخصیت‌ها از روی افراد واقعی و بدون اجازه آنان ساخته می‌شوند.
به دنبال ایجاد مشکلات حقوقی برای گوگل و Character.AI، این پلتفرم در طی گفتگویی با رسانه Verge تایید کرد که قرار است تغییراتی بسیار بنیادی در اپلیکیشن خود اعمال کنند تا از امنیت کاربران مطمئن شده و این مسئله تبدیل به جدی‌ترین هدف این پلتفرم شود. از طرف دیگر، تیم Trust and Safety این پلتفرم در حال کار بر روی مکانیزمی است که به کمک آن، می‌تواند افکار آسیب به خود و خودکشی را تشخیص و افراد را مستقیماً به خط ملی جلوگیری از خودکشی وصل کند تا افراد حرفه‌ای، از هر طریقی که می‌توانند، به کمک بشتابند. برخی از تغییرات مهم این پلتفرم عبارتند از:
- مدل‌های ارائه شده برای نوجوانان محدود می‌شود تا مطمئن شوند که دیگر خبری از تعامل با موارد حساس و نامناسب نخواهد بود.
- جواب‌های مناسب با درخواست‌هایی از سوی کاربر که خلاف دستورالعمل‌های سیستم است.
- پیامی واضح برای کاربران که در آن تاکید شده این فقط یک ربات چت هوش مصنوعی است و نمی‌تواند یک انسان واقعی باشد.
- جلسات تعامل طولانی مدت با پلتفرم، باعث فعال شدن اعلان‌ها می‌شود.
هر دو بنیان‌گذار پلتفرم Character.AI مدت‌ها قبل از تاسیس این پروژه از شرکت گوگل جدا شدند اما به تازگی، این غول آمریکایی رهبری این پلتفرم را به دست آورد که در همین راستا، پایش به شکایت نیز باز شده است. تا به این لحظه، گوگل جوابی به این اتهامات و مشکلات ناشی از آن نداده است.
در هر حال، شرکت‌های هوش مصنوعی و سازندگان ربات چت بر اساس این تکنولوژی، باید بسیار محتاط باشند و امکانات مناسبی فراهم کنند تا پایشان به چنین مشکلاتی باز نشود. در حال حاضر، والدین نسبت به موضوع هوش مصنوعی و شبکه‌های اجتماعی حساسیت زیادی از خود نشان می‌دهند زیرا فرزندانشان به شدت در حال تعامل با این سیستم‌ها بوده و بخش عمده روزشان به کار کردن با این شبکه‌ها سپری می‌شود که خود به نوعی آسیب‌رسان است.
