La evidencia útil empieza por reconocer sus límites.

Límites de la evidencia: observar no es verificar

La respuesta del modelo es una hipótesis visual sobre los píxeles. Los metadatos se extraen de los bytes del archivo enviado. La procedencia criptográfica y las marcas de agua invisibles requieren validadores específicos. Img ID presenta cada tipo de evidencia por separado, en lugar de combinar señales distintas en una sola probabilidad.

• Observaciones del modelo visual: anatomía, texto, iluminación, geometría, textura y marcas visibles. Pueden respaldar una evaluación, pero no prueban el origen.
• Metadatos extraídos del archivo: campos EXIF que se leen directamente del archivo cuando están presentes. Pueden modificarse o eliminarse, así que aportan contexto, no una prueba.
• Content Credentials criptográficas: Img ID analiza el archivo original con el SDK oficial de C2PA y distingue credenciales confiables, válidas en cuanto a integridad pero no confiables, no válidas o ausentes. Una declaración firmada no demuestra que la escena representada haya ocurrido.
• Marcas de agua invisibles: Img ID muestra por separado las declaraciones SynthID firmadas en C2PA y enlaza con la verificación oficial de Gemini. Google no documenta una API pública compatible para esta verificación, por lo que Img ID no afirma detectar SynthID automáticamente. La ausencia de indicios de SynthID es neutral.

Piloto visual: 13 imágenes documentadas como punto de partida

Estado de la detección visual: piloto interno. El conjunto actual contiene 13 imágenes, muy pocas para estimar la precisión en situaciones reales. La comprobación determinista de datos del archivo y la validación C2PA están disponibles, pero Img ID no publica un porcentaje general de precisión basado en este piloto visual.

Un solo resultado distinto cambia la tasa bruta de aciertos en 7,7 puntos porcentuales. El conjunto tampoco tiene una partición de prueba independiente, una cobertura amplia de cámaras, historial de edición, variantes transformadas ni revisión independiente de las etiquetas. Por estas limitaciones, no permite afirmar una precisión representativa del mundo real.

Evaluación: mismas instrucciones e imágenes, primero se revisan los errores

Cada modelo candidato recibe la misma imagen y la misma instrucción de detección. Las respuestas categóricas o moderadas, «IA» o «real», se comparan con la etiqueta binaria registrada. Las respuestas de incertidumbre se abstienen. La clasificación interna premia una respuesta segura y correcta, da menos peso a las respuestas moderadas y penaliza más los errores seguros.

La puntuación ponderada es una heurística del producto, no una probabilidad calibrada ni una medida científica. No se presupone que la confianza declarada por el modelo esté calibrada. La revisión se centra en falsos positivos, falsos negativos y casos inciertos, en vez de destacar una sola cifra.

Política para publicar resultados

• Describir el conjunto actual como un piloto o una colección de regresión, no como un benchmark representativo.
• Indicar el tamaño de la muestra, la fecha de ejecución, el identificador del modelo, la revisión de la instrucción y los errores individuales.
• No convertir un resultado de 12 de 13 en una afirmación pública de precisión.
• No atribuir una imagen a un modelo concreto sin una evaluación de atribución independiente que lo respalde.
• No tratar la falta de metadatos como prueba de que una imagen se generó con IA.
• Fechar los resultados históricos de los proveedores, porque sus modelos alojados pueden cambiar.

Ampliar la evaluación para crear un benchmark creíble

1. Reunir al menos 200 archivos con derechos de uso aclarados, junto con su fuente, licencia, etiqueta de referencia, historial de edición y hash SHA-256.
2. Equilibrar las clases de imágenes reales y generadas con IA y reservar un conjunto de prueba antes de ajustar modelos o instrucciones.
3. Incluir generadores actuales, distintas cámaras, personas y lugares, capturas de pantalla, imágenes CGI, obras de arte, recibos, memes y fotos editadas.
4. Probar recortes, cambios de tamaño, filtros, recomprensión, capturas, ampliación y recodificación de redes sociales.
5. Solicitar una revisión independiente de las etiquetas ambiguas y excluir los archivos sin resolver de los resultados principales.
6. Publicar falsos positivos, falsos negativos, abstenciones, resultados de calibración y resultados por categoría, con intervalos de incertidumbre.

Interpreta los resultados con cautela

Usa Img ID como una segunda opinión. Para tomar decisiones importantes, verifica la fuente, el archivo original, el contexto de publicación y los registros relacionados. Consulta también los ejemplos de verificación, la guía para inspeccionar imágenes y el escáner gratuito.