شرکت‌های OpenAI، مایکروسافت، گوگل، متا و چند شرکت دیگر متعهد شده‌اند که از ابزارهای هوش مصنوعی در راستای تولید محتوا جنسی جهت امنیت کودکان استفاده نکنند.
دو گروه با نام‌های "Thorn" و "All Tech Is Human" در راستای جلوگیری از تولید محتوای جنسی اقداماتی انجام داده‌اند که Thorn در زمینه امنیت کودکان فعالیت می‌کند و All Tech Is Human یک سازمان غیرانتفاعی متمرکز بر حریم خصوصی است. Thorn معتقد است که تعهدات شرکت‌های هوش مصنوعی، گامی بزرگ در جهت محافظت از کودکان در برابر سوء استفاده جنسی است و این‌کار تا به‌حال در این صنعت سابقه نداشته و برای جلوگیری از انتشار و به اشتراک گذاشتن عکس‌ها و ویدیوهای نامناسب از کودکان در فضای مجازی انجام می‌شود.
سال 2023، بیش از 104 میلیون فایل حاوی تصاویر و ویدیوهای نامناسب از کودکان در آمریکا منتشر شد. ربات‌های هوش مصنوعی به مجرمان برای پیشبرد اهداف‌شان کمک می‌کنند و این امر کار پلیس را برای پیدا کردن کودکانی که مورد آزار قرار گرفته‌اند سخت‌تر می‌کند. گروه Thorn و سازمان All Tech Is Human روز سه‌شنبه گزارش جدیدی با عنوان "ایمنی در طراحی هوش مصنوعی و جلوگیری از آزار جنسی کودکان" منتشر کردند که راهکارهایی را برای شرکت‌های سازنده ابزارهای هوش مصنوعی، موتورهای جستجو، شبکه‌های اجتماعی و برنامه‌نویس‌ها پیشنهاد می‌کند. هدف این راهکارها، محافظت از کودکان در برابر آسیب‌های هوش مصنوعی است.
یکی از بندهای این گزارش به شرکت‌ها می‌گوید که در حین آموزش به هوش مصنوعی، باید خیلی مراقب اطلاعاتی که استفاده می‌کنند باشند و نباید از اطلاعاتی استفاده کنند که تصاویر و ویدیوهای آزار جنسی کودکان را نشان می‌دهد. حتی نباید از اطلاعاتی که صحنه‌های جنسی با افراد بزرگسال دارد استفاده کنند. به‌دلیل اینکه هوش مصنوعی نمی‌تواند بین این دو موضوع تمایز قائل شود، بنابراین احتمال تولید محتوای نامناسب وجود دارد. Thorn همچنین از پلتفرم‌های رسانه‌های اجتماعی می‌خواهد تا برنامه‌هایی را که به افراد این اجازه را می‌دهند تا تصاویر کودکان را برهنه کنند، حذف کند.
با پیشرفت هوش مصنوعی، شاهد افزایش تولید محتوای دروغین و جعلی مرتبط با سوءاستفاده جنسی از کودکان هستیم. یافتن موارد واقعی سوءاستفاده از کودکان در میان انبوهی از محتوای جعلی آنلاین، کار بسیار سختی است و به‌همین دلیل، شناسایی قربانیان واقعی برای مجریان قانون دشوارتر شده است. این موضوع مانع از اقدامات مؤثر برای حمایت از کودکانی می‌شود که در خطر هستند.
ربکا پورتنوف، رئیس بخش علوم داده مؤسسه Thorn، در مصاحبه‌ای با وال استریت ژورنال اظهار داشت: «ما تسلیم مشکلات نمی‌شویم. هدف ما از این پروژه این است که نشان دهیم می‌توان با استفاده از فناوری نیز، جلوی سوءاستفاده آنلاین از کودکان را گرفت.»
پورتنوف به این نکته نیز اشاره کرد که برخی شرکت‌ها برای جلوگیری از ترکیب داده‌های مربوط به کودکان با محتوای بزرگسالان در مدل‌های هوش مصنوعی خود، اقدام به تفکیک تصاویر، ویدئو و فایل‌های صوتی حاوی کودکان از مجموعه داده‌های بزرگسالان کرده‌اند. رویکرد دیگری نیز وجود دارد که شامل افزودن واترمارک به محتوای تولید شده توسط هوش مصنوعی است، اما این روش به دلیل سهولت حذف واترمارک قابل اعتماد نیست.
