4.3. De engheidsmatrix#
4.3.1. Inleiding#
In paragraaf 2.1 over de gevaren van AI maakte je al kennis met de engheidsmatrix, een handige manier om zélf te beginnen met kritisch nadenken over AI. De matrix is afgebeeld in figuur 1. In zo’n matrix geef je een plaats aan verschillende AI-toepassingen om te ontdekken wat duidelijke voorbeelden van goede, nuttige en leuke AI-toepassingen zijn, en wat typische voorbeelden zijn van ‘enge AI’.
Fig. 4.3 De engheidsmatrix#
In deze les ga je écht aan de slag met de engheidsmatrix: je gaat een of meer AI-toepassingen op een zo objectief mogelijke manier in deze matrix plaatsen. Beeld de matrix bij voorkeur groot af op een muur of op een whiteboard. Gebruik yellow notes (plakbriefjes) om een AI-toepassing te beschrijven en in de matrix te plaatsen, zodat je er na afloop van de les met anderen over kunt discussiëren.
4.3.2. Maak een checklist voor de x-as#
Op de horizontale as plaatsen we de mate van van ethische verantwoording van een toepassing. Deze ethische verantwoording laten we lopen van ‘eng’ tot ‘absoluut ethisch verantwoord’. Maar hoe bepaal je hoe ethisch verantwoord een toepassing is? Om tot een objectief oordeel te kunnen komen moet je een checklist voor deze as opstellen. Maak hiervoor gebruik van de kennis die je hebt opgedaan in de paragrafen E.1. en E.2. van dit hoofdstuk.
Kies vooral je eigen manier om de manier van beoordelen uit te werken. Een voorbeeld hoe je dit kunt doen: maak gebruik van een zogenoemde 5-punts Likert-schaal om criteria in de vorm van stellingen met betrekking tot de FAST-principes aan de AI-toepassing te toetsen. Likert-schalen worden veel gebruikt om houdingen en meningen genuanceerder in kaart te brengen dan mogelijk is met eenvoudige ja/nee-vragen. Aan de hand van een aantal criteria kun je dan op een onderbouwde manier in kaart brengen hoe ethisch verantwoord een specifieke AI-toepassing is. Een voorbeeld van zo’n criterium en van de wijze waarop je een 5-punts schaal kunt maken om een AI-toepassing te scoren:
Fig. 4.4 5-punts schaal voor criterium 1.#
In het voorbeeld hierboven is de AI-toepassing, de witte cirkel, gescoord op het antwoord ‘Mee eens’. Aan de verschillende scores zijn waarden gekoppeld: van 1 tot en met 5. In dit geval heeft de beoordeling dus 4 punten opgeleverd. Om de beoordeling van een AI-toepassing zo objectief mogelijk te maken, is het belangrijk om meerdere criteria te gebruiken. Zorg ervoor dat je criteria duidelijk te begrijpen zijn en dat de benaming van je scores voor iedereen helder is. Gebruik bovendien voldoende criteria: niet té veel, maar ook weer niet zo weinig dat ze niet representatief zijn. Een voorbeeld van een tweede criterium, inclusief de beoordeling:
Fig. 4.5 5-punts schaal voor criterium 2.#
Het tweede criterium resulteerde in dit voorbeeld in een score van 1 punt. De gemiddelde score van de twee criteria in het voorbeeld is dus (4 + 1)/2 = 2,5.
Tip: maak bij het toepassen van Likert-schalen in verschillende criteria altijd gebruik van dezelfde waarden. In beide voorbeelden gebruiken we een schaal die loopt van ‘Zeer mee oneens’, ‘Mee oneens’, ‘Neutraal’, ‘Mee eens’ tot ‘Zeer mee eens’. Als je overal dezelfde schaalwaarderingen kiest, kun je de uitkomsten later gemakkelijker onderling vergelijken.
Vraag
Waarom is het beter om voor de criteria zoals hierboven beschreven een Likert-schaal te gebruiken dan een simpel ja/nee-antwoord?
Antwoorden
Er is detail in de mening mogelijk als er meer opties zijn om uit te kiezen. De 2-punts ja/nee-schaal biedt deze mogelijkheid niet.
Opdracht
Maak zelf een checklist met minimaal vijf verschillende criteria waarmee je de ‘engheid’ van een AI-toepassing kunt beoordelen. Gebruik als input voor je checklist de FAST-principes, de principes van FAIR data en eventueel de informatie over standaarden en regelgeving uit de lessen E.1. en E.2.
4.3.3. Maak een checklist voor de y-as#
Op de verticale as plaatsen we het nut van de AI toepassing. Deze schaal loopt van ‘Zit niemand op te wachten’ tot ‘Hartstikke nuttig’. Net als bij de horizontale as maak je een checklist waarmee je een AI-toepassing zo objectief mogelijk kunt beoordelen.
Ook hier kun je weer gebruikmaken van een 5-punts Likert-schaal om criteria in de vorm van stellingen met betrekking tot het doel van de AI-toepassing te toetsen. Kies echter vooral je eigen manier om de beoordeling uit te werken. Probeer te denken vanuit iemand voor wie de AI-toepassing gemaakt is. Dit kan de eindgebruiker zijn, maar ook de opdrachtgever of een persoon die in het ontwerpproces een wens heeft neergelegd. Vul voor zo veel mogelijk rollen de volgende zin in:
‘Als …… wil ik …… hebben, zodat ik kan …….’
Aan de hand van een aantal criteria kun je dan op een onderbouwde manier in kaart brengen hoe nuttig en noodzakelijk een specifieke AI-toepassing voor alle betrokkenen is. Voor de opdrachtgever en ontwikkelaars kun je hiervoor het SMART-concept gebruiken. De letters in SMART staan voor:
Specifiek: het doel wordt erg duidelijk en concreet beschreven.
Meetbaar: er moet een objectieve meting van resultaten mogelijk zijn.
Acceptabel: de doelstelling is ook aanvaardbaar voor degene die het doel moet bereiken.
Realistisch: het gestelde doel is realistisch, en dus haalbaar.
Tijdgebonden: het gestelde doel heeft een tijdstip waarop de resultaten gehaald moeten zijn.
Een voorbeeld van zo’n criterium en van de wijze waarop je een 5-punts schaal kunt maken om een AI-toepassing te scoren:
Fig. 4.6 5-punts schaal voor criterium 3.#
Uit de score van 5 punten blijkt dat de beoordelaar vindt dat de toepassing erg duidelijk en concreet is uitgelegd in de videoles. Een tweede voorbeeld van een criterium waarmee een AI-toepassing beoordeeld kan worden, heeft betrekking op de meetbaarheid ervan:
Fig. 4.7 5-punts schaal voor criterium 4.#
Hier scoort de toepassing duidelijk wat minder: 3 punten voor de meetbaarheid, die als neutraal is beoordeeld. Gemiddeld scoort de toepassing dus (5+3)/2 = 4 punten: een behoorlijk nuttige AI-toepassing dus.
Opdracht
Maak zelf een checklist met minimaal vijf verschillende criteria waarmee je het nut en de noodzaak van een AI-toepassing kunt beoordelen.
4.3.4. Plaats een AI-toepassing in de matrix#
Wanneer je die gemiddelde score uitzet op de x-as en de y-as van de engheidsmatrix, ziet dat er voor de AI-toepassing in het hierboven geschetste voorbeeld zó uit:
Fig. 4.8 Een AI toepassing geplaatst in de engheidsmatrix#
In het voorbeeld zou de AI-toepassing dus behoorlijk nuttig zijn, maar de ethische verantwoording zou wat onder de maat zijn en verbetering behoeven.
Vraag
In het voorbeeld hierboven blijkt uit de beoordeling dat een AI-toepassing nuttig is, maar dat de ethische verantwoording beter moet. Wat voor maatregelen zou je dan kunnen nemen om de toepassing tóch acceptabel te maken?
Antwoord
Je zou in dat geval kunnen onderzoeken of er maatregelen kunnen worden genomen waardoor de ethische aspecten beter aangepakt kunnen worden. Denk bijvoorbeeld aan het maken van een code-of-conduct, het verbeteren van de manier waarop een AI-toepassing aansluit op ethische richtlijnen door het aanpassen van het ontwerp ervan.
4.3.5. Beoordeel een echte AI-toepassing#
Doe nu hetzelfde, maar dan met een echte AI-toepassing. Gebruik de aanpak die je in de voorgaande paragrafen hebt uitgewerkt voor het beoordelen van de mate van ethische verantwoording en die voor het beoordelen van het nut van de AI-toepassing. Plot de gemiddelde scores op respectievelijk de x-as en de y-as. Als AI-toepassing kun je kiezen uit een van de volgende videolessen waarin een specifieke AI-toepassing wordt besproken en uitgelegd, maar je mag ook zélf een AI-toepassing kiezen en de documentatie daarvan verzamelen op internet.
Hieronder hebben we videolessen opgenomen van verschillende AI-toepassingen die in échte onderzoekslaboratoria zijn uitgewerkt voor échte organisaties. Niet elke videoles is even gemakkelijk te gebruiken voor het doel van onze les. Soms is de AI-toepassing die in een videoles wordt toegelicht nog niet erg ver uitgewerkt. In een ander geval wordt de AI-toepassing niet al te duidelijk besproken en blijft er veel over om te gissen. Daarom helpen wij je een beetje op weg: we hebben door middel van een sterrenrating aangegeven hoe goed een videoles is voor het doel van ónze les (het beoordelen van de ethische aspecten en het nut van een AI-toepassing):
⭐: de videoles beschrijft de AI-toepassing erg mager. Deze videoles is voor ‘daredevils only’.
⭐⭐: de AI-toepassing is maar gedeeltelijk beschreven. Voor leerlingen met veel fantasie.
⭐⭐⭐: de AI-toepassing is redelijk compleet beschreven, maar er blijft wat te gissen over.
⭐⭐⭐⭐: de AI-toepassing is goed beschreven, alhoewel er nog wat onduidelijkheden zijn.
⭐⭐⭐⭐⭐: de AI-toepassing is perfect beschreven, dus dit kan niet fout gaan…
Voor alle videolessen geldt dat ze Engelstalig zijn. Je kunt echter Nederlandse ondertitels aanzetten door rechtsonder op Instellingen te klikken en te kiezen voor Ondertiteling Nederlands.
Opdracht
Kies een van de onderstaande videolessen waarin een specifieke AI-toepassing wordt gepresenteerd. Beoordeel aan de hand van de checklists, die je op basis van FAST, FAIR en SMART gemaakt hebt, de mate van ethische onderbouwing en het nut ervan. Leg je checklist naast je als je een videoles bekijkt en maak aantekeningen tijdens het luisteren. Plaats als je alle criteria hebt beoordeeld de AI-toepassing in de engheidsmatrix. Bespreek het eindresultaat met andere leerlingen.
4.3.5.1. Afleiding in het verkeer (De Nationale Politie) ⭐⭐⭐⭐⭐#
In deze videoles ‘Afleiding in het verkeer’ bespreekt Marius Kok van de Nationale Politie de Monocam: een AI-toepassing die ervoor moet zorgen dat het autorijden op snelwegen veel veiliger wordt.
De Monocam-toepassing is als voorbeeld gebruikt in de criteria voor de x- en y-as in de theorie hierboven. Kun jij je vinden in de beoordelingen die wij aan deze toepassing hebben gegeven?
4.3.5.2. Automatisch beantwoorden van vragen (VU) ⭐⭐#
In deze videoles wordt uitgelegd hoe onderzoekers aan de VU bezig zijn met AI voor het beantwoorden van vragen en conversatie. Hoe werkt een spraakassistent? Tegen welke uitdagingen lopen zij daarbij aan? En wat is BERT eigenlijk?
4.3.5.3. Diabetische oogscreening (Radboudumc) ⭐⭐#
In deze videoles wordt uitgelegd hoe in het Radboudumc kunstmatige intelligentie wordt gebruikt voor het controleren van diabetespatiënten op oogziekten. Daarbij worden afbeeldingen gekwalificeerd in ‘doorverwijzen naar een oogspecialist’ of ‘niet doorverwijzen’. Een waarschuwing: best lastige materie, met veel moeilijke medische terminologie…
4.3.5.4. IT Operations Analytics (ING) ⭐⭐⭐⭐⭐#
In deze videoles wordt uitgelegd hoe onderzoekers bij ING gebruikmaken van AI om ervoor te zorgen dat ING’s softwaresystemen 99,9% van de tijd beschikbaar zijn. Ze gebruiken daarvoor onder andere predictive monitoring van de betaalsystemen en natural language processing. Een leuke les met een duidelijke AI-component…
4.3.5.5. Robots in retail (Ahold Delhaize) ⭐⭐⭐⭐#
In deze videoles gaat een onderzoeker van het AI for Retail Lab van TU Delft in op onderzoek naar de vraag hoe robots kunnen worden gebruikt voor onder andere het vakkenvullen in supermarkten. Een superleuke les met video’s en simulaties van trainende robotarmen. Soms een beetje technisch, maar absoluut een interessante ontwikkeling in AI…
4.3.5.6. Analyseren van CT-scans op COVID-19 (Radboudumc) ⭐⭐⭐⭐#
Corona en tuberculose ontdekken op röntgenfoto’s - in deze videoles legt Bram van Ginneken van het Thira Lab uit hoe dat in de praktijk wordt gebruikt en welke ethische aspecten daarbij een belangrijke rol spelen. Een interessante videoles met soms wel wat medische terminologie…
4.3.5.7. AI hiring tool (VU) ⭐⭐⭐#
In deze videoles laten onderzoekers van het KIN-center van de Vrije Universiteit zien hoe AI wordt gebruikt in een toepassing voor het selecteren en aannemen van nieuwe medewerkers.
4.3.5.8. Online chatbot voor het melden van fraude (Nationale Politie)⭐⭐⭐#
Heb je ook weleens iets gekocht op een online website en is je aanschaf daarna nooit geleverd? In deze videoles vertelt een specialist van het Police AI Lab hoe AI wordt ingezet in een toepassing voor het melden van online fraude. De toepassing geeft de aanvrager snel een resultaat dat vertelt of de melding van fraude terecht is of niet.