Etik og design noter – 18/11 2021

NoterMax

Oplæg fra Mohammad Sabet om Explainable AI.

Det kan være svært at forklare hvordan man får svar ud fra deep learning modeller i data science. Især i industrien hvor man arbejder med end-user, eller medicin verdenen er det vigtigt at man kan have tiltro til maschine learning modellen. De har en naturlig skepsis for ukendtheden. Det er vigtgit at man kan forklare hvordan resultater nåes. Det er lige så vigtig at kunne forklare sine modeller som at få gode resultater.

Hvad er machine learning

Typisk ml model: Input –> Black box –> Output

ML interpretation. Med en ML kan man få accuracy og interpretability trade off. Det er opstilling af hvor præcisionen af en modellen har en negativ sammenhæng i hvor nemt det er at forklare hvordan man er nået frem til sine resultater.

Hvorvor at machine learning vigtigt

  • Commercielt
    • Der kan være finansielt grundlag i beslutninger der kan være vigtigt at forstå
  • Tiltro
    • Det er nemmere at have tiltro til en ML model når den (nemt) kan forklares.
  • Lov
    • Der er lov krav til at man skal forklare hvordan man kommer frem til resultater i GDPR når man arbejder med persondata. eller man arbejder for en kunde.
  • Teknisk drive
    • Viden om hvorfor ens model er vigtigt.
      • Forstå ‘hvorfor’ kan hjælpe med at forstå data
      • Forstå edge cases og fejl under omstændigheder
      • Forbedring af model
  • Social og etisk perspektiv
    • Interpretation – er et godt værktøj til at finde bias
    • Machine lerning modeller kan nemt opnå bias, som kan være skadeligt for grupper af mennesker.

Hvorfor intepreation af ML modeller er svært

I ML modeller sammensættes variabler/features på en sopistikeret måde, som kan gøre det svær at forklare hvordan resultater opnåes. Nogle tilfælde kan dog være let. Som f.eks. linære modeller.

Explainable AI kan give et interface, hvor en bruger har mulighed for at lære f.eks.

  • Hvordan et resultat opnåes
  • Hvordan modellen fungerer
  • Hvorfor det virker
  • Hvornår det ikke vikrer
  • Hvornår der kan være skepsis
  • Hvordan man retter fejl
  • Hvordan fejl opstår

Transpeans

Metoder til at føre en model forklarbar

  • Simulans
  • Kan reproduceres
  • Algorytmisk transperans

Post-hoc forklaring

Værktøjer en model kan genere til sine forudsigelser.

  • Text froklaringer
  • Visualisering
  • Lokal forklaring.

Deep learning models

State of the art XAI

Generel fremgang: Lav model der performer godt, og så find ud af hvordan det virker, og juster modellen til at være bedre forklarbar (trade off med præcision.

  • Gradient-based – Anvendelse af visuelle hjælpemidler, som f.eks. heatmap. Se Grad-CAM.
  • Perturbation-based – finder effekt af udvælgelse af dele af input til at manipulere model. Se RISE.
  • Approximation-based – black-box modeller der analyseres og gættes lokalt med simplere forståelige modeller. Se LIME.

Udfordringer

Klasificering. Løsningsforslag – gradient mask med heatmap.

Generate feature image masks

  1. Geneer feature image masks med input billede i en CNN model
  2. Udregn lignende forskelle og unikhed.
  3. Forklar udregningen og forusigelsen af CNN visuelt.

Man kan prøve et måle præcision kun med varme områder i heatmap, eller fjerne områder. Gode modeller vil hurtigt tilpasse sig logisk.

Man kan få mennesker til at prøve at bruge mennesker til at validere resultater fra modeller. De skal så forkalre hvorfor modeller når deres resultater.