password
icon
AI summary
type
Post
status
Published
date
Jun 16, 2024
slug
aig_img_detection
summary
论文写作课程汇报：关于AI生成图片检测技术的简单总结，包括GAN、SD以及VAE生成的图片
tags
AIGC
DeepLearning
CLIP
category
科研
一、 背景：肉眼难辨的“视觉图灵测试”
随着 Diffusion Models（扩散模型，如 Stable Diffusion, Midjourney）的爆发，以及 GAN（生成对抗网络）和 VAE（变分自编码器）技术的迭代，AI 生成图像的逼真度已跨越了“恐怖谷”。
以一组包含人脸、物体和风景的图片为例，在没有辅助工具的情况下，人类观察者几乎无法分辨真伪（例如，图中仅有第 5 张毛巾图片为伪造）。这种技术进步带来了严重的信任危机：虚假新闻、欺诈以及版权问题日益凸显。
由此，AI 生成图像检测（Deepfake Detection） 成为了多媒体取证领域的热点。然而，现有的检测器面临着一个核心痛点：过拟合（Overfitting）。大多数模型在同源数据（训练与测试来自同一生成器）上表现优异，但在面对未见过的生成器（Cross-Model）时，检测性能往往断崖式下跌。
二、 现有技术路线梳理（Related Work）
针对这一挑战，学术界主要涌现了以下四类代表性工作：
1. 基于数据增强的全局特征学习 (CVPR 2020)
- 核心思想：假设不同的生成器（尤其是 GAN）会在图像中留下通用的“指纹”。
- 方法：利用 ResNet50 等经典分类网络，配合大范围的数据增强（模糊、压缩、裁剪等）进行二分类训练。
- 局限：这种方法倾向于学习特定的纹理模式，虽然实现简单，但对新型扩散模型的适应性较弱。
2. 频域伪影分析 (Frequency Domain Analysis)
- 核心发现：生成模型在图像上采样（Up-sampling）过程中会引入特定的频谱痕迹。例如，在傅里叶变换后，某些 GAN 或 DM 生成的图片会出现异常的强峰。
- 实测表现：在一项涵盖 12 种检测器（数据源自 COCO, ImageNet, UCID 及 ProGAN）的基准测试中，频域方法展示了一定的区分度。
- 局限：鲁棒性较差。一旦图像经过社交媒体的二次压缩（JPEG 压缩）或后处理，高频段的伪影极易丢失，导致检测失效。
3. 梯度图特征提取 (Gradient-based Methods)
- 核心思想：利用预训练模型（如 VGG, ResNet50 或 ProgGAN 的 Discriminator）作为特征提取器，将图像转换为梯度图（Gradient Map）。
- 逻辑：由于生成图像在结构一致性上可能存在细微瑕疵，梯度图能比 RGB 像素图更敏锐地捕捉这些人工特征（Artifacts），随后将其送入分类器进行训练。
4. 基于 CLIP 的图文多模态检测 (Multimodal Detection)
- 核心思想：利用 CLIP 模型强大的 Zero-shot/Few-shot 泛化能力。
- 方法：构建文本 Prompt（如“真实照片/虚假照片”、“真实绘画/虚假绘画”），将待测图片输入图像编码器，计算图文特征的余弦相似度。
- 优势：得益于 CLIP 在海量数据上的预训练，该方法在跨模型检测任务上展现出了优于纯视觉方法的泛化性。
三、 探索：化繁为简的 Patch 级检测
在结合前人工作与大量实验后，我们发现了一个有趣的现象：整图检测往往受到语义内容的干扰，而局部细节可能藏着更纯粹的真相。
我们设计了一种基于 Patch（图块）筛选 的轻量级检测方案：
- 切分与筛选：将大图切分为多个 Patch，利用信息量计算公式（如熵值）筛选出**复杂度最低（最简单）**的 Patch。这些区域通常接近纯色或平滑纹理。
- 残差提取：使用 SRM (Spatial Rich Models) 滤波器提取这些简单 Patch 的高频噪声残差。
- 分类：将噪声特征送入二分类器。
实验观察： 在 Midjourney 生成图与 ImageNet 真实图的对比中，我们发现肉眼看似毫无信息的纯色 Patch，在 SRM 滤波下暴露了截然不同的噪声分布模式。这验证了生成模型在处理平滑区域时，依然会残留底层的运算痕迹。
该方法在单模型（Intra-model）检测中取得了极高的准确率，且计算成本极低。
四、 局限与未来展望
尽管“简单 Patch + SRM”的方案提供了一个新颖的视角，但从实验数据来看，跨模型泛化性（Generalization） 依然是最大的拦路虎。
目前的主要问题及未来方向：
- 跨域失效：在特定生成器（如 MJ）上训练的模型，直接迁移到 SDXL 或 DALL-E 3 上时，效果仍不理想。
- 特征解耦：未来的工作需要设计额外的模块，将“内容特征”与“生成痕迹”彻底解耦，寻找真正独立于生成架构（GAN vs. Diffusion）的通用伪造特征。
- 对抗攻击：随着反取证技术的发展，如何检测经过对抗样本攻击的生成图也是必须考虑的一环。
