根据一个安全监控机构的说法，人工智能工具生成的儿童性虐待图像在网络上变得越来越普遍，并正在接近“关键点”。互联网观察基金会表示，他们在过去六个月内在线上看到的AI创建的非法内容数量已经超过了去年的总和。该组织在英国设有求助热线，同时也有全球职责，称几乎所有内容都是在公开可访问的互联网区域中找到的，而不是在必须通过特殊浏览器访问的暗网上。
该基金会的临时首席执行官德里克·雷-希尔表示，图像的复杂程度表明所使用的AI工具经过了真实受害者图片和视频的训练。“最近几个月显示出这一问题并未消失，实际上正在恶化，”他说。一位IWF分析师表示，AI生成内容的情况正在接近一个“关键点”，安全监管机构和当局不知道一张图片是否涉及需要帮助的真实儿童。
IWF在截至今年9月的六个月里对74起AI生成的儿童性虐待材料（CSAM）——其真实感足以违反英国法律——的报告采取了行动，相比之下，截至3月的12个月里这类报告数量为70起。一份报告可能涉及一个包含多张图片的网页。除涉及真实受害者虐待的AI图像外，还有IWF看到的其他材料类型，包括“深度伪造”视频，将成人色情片段伪造成CSAM。在以往的报告中，IWF曾表示AI正被用于创建“去年龄化”
后被描绘在儿童性虐待场景中的名人图像。其他CSAM例子包括使用AI工具来“裸体化”网上找到的穿衣儿童的图片。过去六个月中IWF标记的AI生成内容中，超过一半存储在俄罗斯和美国的服务器上，日本和荷兰也有显著的存储量。含有这些图像的网页地址被上传到IWF的URL列表，并与科技行业分享，以便这些网页可以被阻止并限制访问。
IWF称，十分之八的非法AI制造图像报告来自在公共网站如论坛或AI画廊上发现这些图像的公众成员。与此同时，Instagram宣布了新的措施来应对色情敲诈，即用户被欺骗向犯罪分子发送私密图片，这些犯罪分子通常伪装成年轻女性，并随后实施敲诈威胁。该平台将推出一项功能，模糊用户在直接消息中收到的任何裸露图片，并提醒他们在发送任何包含裸露图片的直接消息（DM）时要小心。
收到模糊图片后，用户可以选择是否查看，并将收到一个消息提醒他们有选择屏蔽发送者和向Instagram举报该聊天的选项。从本周起，这一功能将在全球的青少年用户账户中默认启用，并可以用于加密消息，但被“设备上检测”功能标记的图片不会自动通知平台本身或当局。