Det er essentielt at kunne stole på sine modeller man har lavet. Med en black box kan vi oftest ikke se andet end resultaterne, hvilket ikke giver meget at stole på.
Med observation kan vi lære hvorfor en mode fejler.
Forklaringsmodeller – forklaring af hvorfor et resultat opnåes
I black box modeller er det ikke ligefrem logisk at opnå en forklaring af hvorfor et resultat opnåes.
En løsning er i billede classification at bruge heatmaps af kritiske områder der er grundlag for classifikation, så man kan se hvad der er grundlag for klassifiseringen.
Er der en samenhæng mellem heatmaps og forventninger af hvad mennesker ser? Man kan argumentere at hvis det der fremhæves er det objekt man søger efter, så vil det give mening. Men det er ikke altid tilfældet. Maskiner har bias. Som data scientist vil vi gerne ungå bias.
Ved at kigge på hvad et menneske observerer i et eye tracking eksperiment, kan man få data på hvad mennesker kigger på for at klassifisere et objekt. Det kan man så bruge til sammenligne heatmaps fra menneske og model, og observere om maskinen kigger på hvad mennesker gør.