Limites das evidências: observar não é verificar
A resposta do modelo é uma hipótese visual sobre os pixels. Os metadados são extraídos dos bytes do arquivo enviado. A procedência criptográfica e as marcas d’água invisíveis exigem validadores específicos. O Img ID apresenta cada tipo de evidência separadamente, em vez de combinar sinais diferentes em uma única probabilidade.
- Observações do modelo visual: anatomia, texto, iluminação, geometria, textura e marcas visíveis. Elas podem apoiar uma avaliação, mas não comprovam a origem.
- Metadados extraídos do arquivo: campos EXIF lidos diretamente do arquivo quando estão presentes. Eles podem ser alterados ou removidos, portanto oferecem contexto, não comprovação.
- Content Credentials criptográficas: o Img ID analisa o arquivo original com o SDK oficial C2PA e diferencia credenciais confiáveis, válidas quanto à integridade mas não confiáveis, inválidas ou ausentes. Uma declaração assinada não prova que a cena retratada aconteceu.
- Marcas d’água invisíveis: o Img ID exibe separadamente as declarações SynthID assinadas em C2PA e inclui um link para a verificação oficial do Gemini. O Google não documenta uma API pública compatível para essa verificação, então o Img ID não afirma detectar SynthID automaticamente. A ausência de indícios de SynthID é neutra.
Piloto visual: 13 imagens documentadas como ponto de partida
Status da detecção visual: piloto interno. O conjunto atual tem apenas 13 imagens, poucas demais para estimar a precisão em situações reais. A verificação determinística dos dados do arquivo e a validação C2PA estão disponíveis, mas o Img ID não divulga um percentual geral de precisão com base neste piloto visual.
| Classe | Quantidade | Cobertura registrada |
|---|---|---|
| Geradas por IA | 9 | Quatro do Midjourney, quatro do Grok e uma do Gemini |
| Fotografias reais | 4 | Retratos, um ponto turístico e paisagens |
Uma única mudança no resultado altera a taxa bruta de acertos em 7,7 pontos percentuais. O conjunto também não tem uma divisão de teste independente, ampla variedade de câmeras, histórico de edição, versões transformadas nem revisão independente dos rótulos. Essas limitações não permitem afirmar uma precisão representativa do uso no mundo real.
Avaliação: mesmas instruções e imagens, erros analisados primeiro
Cada modelo candidato recebe a mesma imagem e a mesma instrução de detecção. Respostas categóricas ou moderadas, “IA” ou “real”, são comparadas ao rótulo binário registrado. Respostas incertas se abstêm. A classificação interna recompensa uma resposta confiante e correta, dá menos peso às respostas moderadas e penaliza mais os erros confiantes.
A pontuação ponderada é uma heurística do produto, não uma probabilidade calibrada nem uma medida científica. Não se presume que a confiança informada pelo modelo seja calibrada. A revisão se concentra em falsos positivos, falsos negativos e casos incertos, em vez de destacar um único número.
Política de divulgação dos resultados
- Descrever o conjunto atual como piloto ou conjunto de regressão, e não como um benchmark representativo.
- Informar o tamanho da amostra, a data da execução, o identificador do modelo, a revisão da instrução e os erros individuais.
- Não transformar um resultado de 12 em 13 em uma afirmação pública de precisão.
- Não atribuir uma imagem a um modelo específico sem o respaldo de uma avaliação independente de atribuição.
- Não tratar a ausência de metadados como evidência de que uma imagem foi gerada por IA.
- Indicar a data dos resultados históricos dos provedores, pois os modelos hospedados podem mudar.
Ampliar a avaliação para criar um benchmark confiável
- Reunir pelo menos 200 arquivos com direitos de uso esclarecidos, incluindo fonte, licença, rótulo de referência, histórico de edição e hash SHA-256.
- Equilibrar as classes de imagens reais e geradas por IA e reservar um conjunto de teste antes de ajustar modelos ou instruções.
- Abranger geradores atuais, diferentes câmeras, pessoas e lugares, capturas de tela, imagens CGI, obras de arte, recibos, memes e fotos editadas.
- Testar recortes, redimensionamento, filtros, recompressão, capturas de tela, ampliação e recodificação de redes sociais.
- Submeter rótulos ambíguos a uma revisão independente e excluir arquivos não resolvidos dos resultados principais.
- Publicar falsos positivos, falsos negativos, abstenções, resultados de calibração e resultados por categoria, com intervalos de incerteza.
Interprete os resultados com cautela
Use o Img ID como uma segunda opinião. Para decisões importantes, verifique a fonte, o arquivo original, o contexto de publicação e os registros relacionados. Consulte também os exemplos de verificação, o guia de inspeção de imagens e o scanner gratuito.