Verklaarbare AI gaat nieuwe fase in met 'concept whitening'

De zoektocht naar 'verklaarbare AI' blijkt niet eenvoudig, maar een nieuwe aanpak genaamd 'concept whitening' lijkt mogelijkheden te hebben.

Tot nog toe concentreerden de pogingen de besluitvorming van een neuraal netwerk inzichtelijker te maken op het achteraf onderzoeken van de resultaten en de routes die data door het neuraal netwerk hebben gevolgd. De verklaringen die daaruit ontstaan, zijn echter vaak niet correct. Ook bieden ze geen oplossing voor het probleem dat het neuraal netwerk misvattingen heeft afgeleid uit de trainingsdata.

Wetenschappers van de gerenommeerde Amerikaanse Duke University gooien het over een andere boeg door bij de opbouw van een neuraal netwerk dit te sturen tot het aanleren van specifieke concepten. Zij hebben hun aanpak toegepast op een systeem voor beeldherkenning, maar het lijkt er op dat het veel breder is toe te passen op deeplearning-modellen.

Groene weide in plaats van schapen

Tijdens de training leggen de verschillende lagen van een neuraal netwerk de eigenschappen die ze extraheren uit de trainingsdata, vast in parameters. Dat wordt wel de 'latent space' van het model genoemd. Het zou mooi zijn als het neurale netwerk daarin de meest relevante zaken vastlegt die nodig zijn om een afbeelding te categoriseren. Maar helaas krijgen de meest opvallende zaken de voorkeur. Zo kan het dat terwijl een neuraal netwerk wordt getraind op het herkennen van schapen, het leert groene weiden te herkennen.

Concept whitening voegt naast de reguliere geannoteerde set trainingsdata een een nieuwe categorie trainingsdata toe met concepten gerelateerd aan de taak die het neuraal netwerk moet gaan uitvoeren. Met deze tweede trainingsronde worden specifieke 'neuronen' in elke laag aangepast zodat ze beter in lijn komen met het classificatieproces dat in een bepaalde laag moet plaatsvinden. Op die manier ontstaat een nette organisatie in elke laag van het neurale netwerk en worden de neuronen geactiveerd die bij een bepaald concept horen. Het voordeel is ook dat het neurale netwerk minder geneigd is voor de hand liggende fouten te maken.