Granice dostępnych dowodów
Wynik modelu to hipoteza wizualna dotycząca pikseli. Metadane pliku odczytujemy z przesłanych bajtów. Pochodzenie kryptograficzne i niewidoczne znaki wodne wymagają osobnych walidatorów. Img ID pokazuje każdą kategorię dowodów osobno, zamiast łączyć niezależne sygnały w jedno prawdopodobieństwo.
- Obserwacje modelu wizualnego: anatomia, tekst, światło, geometria, tekstura i widoczne oznaczenia. Mogą wspierać ocenę, ale nie dowodzą pochodzenia.
- Metadane odczytane z pliku: dostępne pola EXIF. Można je edytować lub usunąć, więc stanowią kontekst, a nie dowód.
- Poświadczenia kryptograficzne: Img ID analizuje oryginalny plik za pomocą oficjalnego SDK C2PA i rozróżnia poświadczenia zaufane, poprawne pod względem integralności lecz niezaufane, nieprawidłowe i nieobecne. Podpisane deklaracje nie dowodzą, że przedstawiona scena jest prawdziwa.
- Niewidoczne znaki wodne: Img ID osobno raportuje podpisane deklaracje C2PA SynthID i udostępnia link do oficjalnej weryfikacji Google Gemini. Google nie dokumentuje obsługiwanego publicznego API do weryfikacji, dlatego Img ID nie deklaruje automatycznego wykrywania SynthID. Brak takiego sygnału pozostaje neutralny.
Zestaw pilotażowy
Obecny zestaw obejmuje 13 obrazów i jest udokumentowany wyłącznie jako punkt wyjścia.
| Klasa | Liczba | Zapisany zakres |
|---|---|---|
| Obrazy wygenerowane przez AI | 9 | Cztery z Midjourney, cztery z Grok i jeden z Gemini |
| Prawdziwe zdjęcia | 4 | Portret, znany obiekt i zdjęcia krajobrazowe |
Zmiana jednego wyniku przesuwa surowy odsetek trafień o 7,7 punktu procentowego. Zestaw nie ma też podziału na dane uczące i testowe, szerokiego zakresu aparatów, historii edycji, wariantów przekształceń ani niezależnej weryfikacji etykiet. Te ograniczenia wykluczają reprezentatywne publiczne twierdzenia o dokładności.
Sposób oceny
Każdy kandydat otrzymuje ten sam obraz i prompt wykrywania. Mocne i ostrożne werdykty „AI” lub „prawdziwe” porównujemy z zapisaną etykietą binarną. Odpowiedź niepewna wstrzymuje się od oceny. Wewnętrzny ranking premiuje poprawny, stanowczy kierunek, słabiej waży ostrożne werdykty i mocniej karze pewne siebie błędy.
Wynik ważony jest heurystyką produktową, a nie skalibrowanym prawdopodobieństwem ani miarą naukową. Nie zakładamy, że pewność podawana przez model jest skalibrowana. Analizujemy fałszywe alarmy, przeoczenia i przypadki niepewne, zamiast skupiać się na jednej liczbie nagłówkowej.
Zasady raportowania
- Obecny zestaw określamy jako pilotażowy lub regresyjny, a nie reprezentatywny benchmark.
- Podajemy liczebność próby, datę uruchomienia, identyfikator modelu, wersję promptu i poszczególne błędy.
- Nie zamieniamy wyniku 12 z 13 w publiczną deklarację dokładności.
- Nie przypisujemy obrazu konkretnemu modelowi bez osobnej oceny potwierdzającej takie przypisanie.
- Braku metadanych nie traktujemy jako dowodu wygenerowania obrazu przez AI.
- Historyczne wyniki dostawców oznaczamy datą, ponieważ hostowane modele mogą się zmieniać.
Droga do wiarygodnego publicznego benchmarku
- Zgromadzić co najmniej 200 plików z prawami do wykorzystania, zapisując źródło, licencję, prawdziwą etykietę, historię edycji i sumę SHA-256.
- Zrównoważyć klasy zdjęć prawdziwych i wygenerowanych, a następnie zablokować zestaw testowy przed dostrajaniem modelu lub promptu.
- Uwzględnić aktualne generatory, różne aparaty, ludzi i miejsca, zrzuty ekranu, CGI, grafikę, paragony, memy i edytowane zdjęcia.
- Sprawdzić kadrowanie, zmianę rozmiaru, filtry, ponowną kompresję, zrzuty ekranu, powiększanie i ponowne kodowanie przez media społecznościowe.
- Zapewnić niezależną ocenę niejednoznacznych etykiet i wykluczyć nierozstrzygnięte pliki z głównych wyników.
- Opublikować wyniki fałszywych alarmów, przeoczeń, wstrzymania oceny, kalibracji i poszczególnych kategorii wraz z przedziałami niepewności.
Korzystaj z wyników odpowiedzialnie
Traktuj Img ID jako drugą opinię. Przy ważnych decyzjach sprawdź źródło, oryginalny plik, kontekst publikacji i powiązane materiały. Zobacz też przykładowe procedury weryfikacji, poradnik ręcznej analizy, poradnik o metadanych EXIF i poradnik dla redakcji.