在谷歌的Cyber NYC机构研究计划（IRP）的支持下，纽约大学坦顿工程学院的研究团队正在开发一个互动系统，该系统可以在实时通话中发出智能挑战，区分真实和深度伪造音频及视频。研究人员已经展示了一种方法，可以成功解决传统法医分析在复杂分发渠道中存在的可靠性问题。他们的方案是在一个法医分析网络和神经成像管道上进行端到端的联合优化，显著提高了照片操纵检测的准确性，从约45%提高到超过90%。
该系统采用“挑战-应答”方法，旨在“ вооруж装人们可以避免诈骗和其他诡诈行为的工具。”纽约大学坦顿计算机科学与工程和电气与计算机工程系副教授Chinmay Hegde和几位同事发表了两篇论文，介绍并验证了用于实时检测深度伪造音频和视频的新技术。纽约大学坦顿工程学院的项目名为“实时深度伪造检测：互动、多模式、面向未来”，是谷歌的Cyber NYC机构研究计划支持的多个项目之一。
2023年6月，Cyber NYC IRP提供了1200万美元，为纽约大学、纽约市立大学、哥伦比亚大学和康奈尔科技学院的网络安全培训、教育和前沿研究提供资金。Hegde和他的同事发表的两篇论文分别是《GOTCHA：通过挑战响应进行的实时视频深度伪造检测》和《PITCH：使用挑战响应对深度伪造音频通话进行AI辅助标记》。
在第一篇论文中，Hegde和他的同事表示，AI支持的实时深度伪造（RTDFs）“现在使得在实时视频互动中替换冒充者的脸为受害者的脸成为可能”，“这种深度伪造的进步也迫使检测达到同样的标准。”研究人员表示：“现有的深度伪造检测技术是异步的，因此不适合RTDFs。”为了弥补这一差距，“我们提出了一种挑战响应的方法，以在实时环境中建立真实性。
我们专注于谈话头风格的视频互动，并展示了一种分类法，专门针对RTDF生成管道的固有限制。”研究团队解释说，他们通过收集一个包含八个挑战的独特数据集来评估“分类法的代表性示例，这些挑战持续且明显地降低了最先进深度伪造生成器的质量。这些结果得到了人类和一个新的自动评分功能的证实，分别达到了88.6%和80.1%的AUC。”
他们表示，他们的“发现强调了挑战响应系统在实际场景中进行可解释和可扩展的实时深度伪造检测的潜在前景。”在另一项关于使用RTDFs进行社交工程攻击的研究中，研究人员提出使用称为PITCH的方法，这是一种“可靠的挑战响应方法，用于检测和标记交互式深度伪造音频通话。”团队表示，他们“基于人类听觉系统、语言学和环境因素开发了一个全面的音频挑战分类法，产生了20个潜在挑战。
这些挑战通过一个由100位用户所提供的18600个原始样本和160万个深度伪造样本组成的新数据集进行了测试。PITCH的潜在挑战使机器检测能力在完整的不平衡数据集上提高到了88.7%的AUROC值，使我们能够筛选出平衡安全性和可用性的十个功能挑战。”Hegde和他的团队表示：“为了人类评估和后续分析，我们筛选出一个具有挑战性、均衡的子集。”
在这个子集上，人类评估者独立评分的准确率为72.6%，而机器达到了87.7%。考虑到通话环境需要更高的人为控制，我们通过机器帮助通话接收者做出决策。我们的解决方案使用一个早期警告系统，将可疑来电标记为’可能为深度伪造’。”研究人员报告称：“将人类直觉与机器精确度结合起来提供了互补的优势。我们的解决方案给予用户最大控制，并将检测准确率提高到84.5%。
这一准确率的提高证明了PITCH在通话验证过程中进行AI辅助预筛选的潜力，提供了一种灵活且可用的方法来对抗实时语音克隆攻击。”今年早些时候，NYU Tandon另一项研究揭露了现有措施在防止文本到图像AI模型生成非法内容方面的失败。在五月于维也纳举行的第十二届国际学习表示会议上发表的一篇论文《绕过文本到图像生成模型的概念删除方法》中，研究小组展示了通过简单的攻击可以规避声称能“消除”
像Stable Diffusion这样的模型生成的露骨、受版权保护或其他不安全视觉内容的能力的技术。“文本到图像模型以其从文字描述中创造出几乎任何视觉场景的能力风靡世界，”Hegde说。“但这也打开了人们制作和分发可能严重操纵、冒犯甚至非法的照片逼真图像的门，包括名人深度伪造或侵犯版权的图像。”
在另一项发表在IEEE国际联合生物识别会议上的研究中，Hegde和他的同事展示了一种他们开发的AI技术，该技术可以在保持个人独特身份特征的情况下改变图像中人物的表观年龄。NYU Tandon的网络安全中心决定了用于支持NYU教师主导的研究项目的资金分配。
在其首年，NYU Tandon在Google Cyber NYC IRP研究的框架下推出了一系列项目，旨在帮助保护人们免受深度伪造的侵害，并建立对推动行业和塑造人们生活的新创新的信任。“我们对Google Cyber NYC IRP研究的愿景是培育一个动态的生态系统，平衡长远的探索计划与目标明确的实用研究，”NYU Tandon高级副院长Eray Aydil说。
“我们积极鼓励跨部门、跨大学和跨研究机构的跨学科合作，以利用多样化的专业知识，从多个角度应对复杂挑战。”Google Cyber NYC IRP今年的目标研究领域包括可信计算、可信AI、AI在网络安全防御中的应用以及人类与社会科学。到了第二年，Google Cyber NYC IRP旨在继续专注于隐私、安全和安全方面的合作研究。
NYU的网络安全中心发布了另一个校范围内的提案邀请令，邀请教师提交他们的研究想法。