证据边界：观察不等于验证
视觉检测仍处于内部试点阶段。当前数据集只有 13 张图像，数量不足以估算真实场景中的准确率。确定性的文件信息与 C2PA 验证功能已上线，但 Img ID 不会根据这组视觉测试结果宣传总体准确率。
模型输出是对像素内容的视觉假设。文件元数据从上传文件的字节中读取。加密来源证明与不可见水印需要专门的验证器。Img ID 分开展示不同证据类别，不会把无关信号混成一个概率。
- 视觉模型观察：解剖结构、文字、光线、几何关系、纹理和直接可见的标记。这些线索可以支持判断，但不能证明图像来源。
- 解析出的文件元数据：从文件字节中读取可用的 EXIF 字段。元数据可能被编辑或删除，因此只能提供背景信息，不能作为证明。
- 加密凭证：Img ID 使用官方 C2PA SDK 解析原始上传文件，并分别标示可信、完整性有效但不受信任、无效或缺失的凭证。签名声明不能证明图像所描绘的场景属实。
- 不可见水印：Img ID 会单独报告带签名的 C2PA SynthID 声明，并链接到 Google 官方 Gemini 验证页面。Google 没有说明存在受支持的公开验证 API，因此 Img ID 不会声称能够自动检测 SynthID。没有 SynthID 线索时，结果保持中性。
试点数据：13 张图像只是起点
当前数据集仅用于初步测试，不能代表真实世界的图像分布。
| 类别 | 数量 | 已记录的覆盖范围 |
|---|---|---|
| AI 生成图像 | 9 | 4 张来自 Midjourney，4 张来自 Grok，1 张来自 Gemini |
| 真实照片 | 4 | 人像、地标和风景照片 |
只要一个结果发生变化，原始命中率就会改变 7.7 个百分点。数据集也缺少留出集、广泛的相机覆盖、编辑历史、图像变换版本和独立标签复核。受这些限制影响，我们无法据此发布具有代表性的公开准确率声明。
评估方式：先看每个错误
每个候选模型都会收到同一张图像和同一条检测提示。我们将明确或较弱的“AI 生成”与“真实”判断同已记录的二元标签比较。不确定的回答视为弃权。内部排序会奖励方向正确且明确的判断，降低较弱判断的权重，并对有把握却错误的判断施加更大惩罚。
加权分数是产品内部的启发式指标，不是经过校准的概率，也不是科学测量值。我们不会假定模型报告的置信度已经校准。评估重点是误报、漏报和不确定案例，而不是单一的宣传数字。
报告原则：谨慎陈述结果
- 将当前数据集称为试点或回归测试集，不称为具有代表性的基准。
- 报告样本数、运行日期、模型标识、提示版本和具体错误案例。
- 不把 13 张中答对 12 张的试点结果改写成公开准确率声明。
- 除非有单独的归因评估支持，否则不声称识别出了图像由哪个模型生成。
- 不把缺少元数据当作图像由 AI 生成的证据。
- 为历史模型结果标注日期，因为托管模型可能发生变化。
迈向可信的公开基准
- 收集至少 200 个获得使用授权的文件，并记录来源、许可、真实标签、编辑历史和 SHA-256 校验值。
- 平衡真实图像与 AI 生成图像的类别比例，并在调整模型或提示之前锁定留出测试集。
- 覆盖当前图像生成器、不同相机、人物与地点、截图、CGI、艺术作品、收据、梗图和编辑过的照片。
- 测试裁剪、缩放、滤镜、重新压缩、截图、放大处理和社交媒体重新编码。
- 对有歧义的标签进行独立复核，并从主要结果中排除无法解决的文件。
- 发布误报、漏报、弃权、校准及类别层面的结果，并提供不确定性区间。
谨慎阅读分析结果
将 Img ID 作为第二意见。对于重要决定，请核实来源、原始文件、发布背景和相关记录。还可以查看核查示例、人工检查指南、EXIF 元数据指南和新闻图像核查指南。