Rijksmap

RijksmapMinisterie van Buitenlandse Zaken › rapport

Game Based Assessment (GBA): Evaluatie voor Ministerie van Buitenlandse Zaken (BuZa)

2024-01-17 · Onderzoeken en evaluaties: Tilburg University · standaard Extern onderzoek · Toezicht & onderzoek

Open het rapport bij de bron Toon dit rapport in de interactieve Rijksmap

Waar gaat dit rapport over?

Officiële omschrijving

Het ministerie van Buitenlandse Zaken wil vacatures kwalitatiever, objectiever en sneller vervullen. De Hoofddirectie Personeel en Organisatie (HDPO) heeft een tweejarige pilot uitgevoerd waarbij een Game Based Assessment (GBA) is ingezet bij externe werving. Dit met de hoop dat het GBA een positieve bijdrage heeft op de doorlooptijd, een objectiever proces, meer diversiteit en inclusiviteit en de mogelijkheid biedt om kwalitatieve keuzes te maken. Dit rapport evalueert de GBA-pilot.

Risicothema's

Personeel, diversiteit en behoud van talentDigitale disruptie, nieuwe technologie en AIGovernance en verslaggeving

Waarom deze indeling: Het spelgebaseerde assessment bestaat uit zeventien spelelementen en vijf vragenlijsten. De psychometrische kwaliteit van de spellen laat te wensen over: voor zeven van de zeventien ontbreken betrouwbaarheidsgegevens en bij de overige ligt de test-hertestcorrelatie tussen 0,52 en 0,68, terwijl boven 0,80 wordt aanbevolen. De persoonlijkheidsvragenlijst is wel van goede kwaliteit. Dat het instrument bijdraagt aan de kwaliteit van de aanname kon niet worden aangetoond; van slechts 109 aangenomen sollicitanten waren prestatiegegevens beschikbaar. Tussen mannen en vrouwen zijn geen verschillen gevonden, maar bij 75 procent van de vergelijkingen scoren ouderen significant lager op de spelelementen. De doorlooptijd daalde van 98 naar 88 dagen, terwijl vacaturehouders het instrument niet op dezelfde manier inzetten.

Toegekend met een AI-model (Opus 5) op basis van de zestien thema's van Risk in Focus; niet door mensen gevalideerd. Om de labels beter te onderbouwen gaan we ze gefaseerd herbeoordelen met een tweede, onafhankelijk model van een andere aanbieder (OpenAI naast Anthropic); vanwege tokenlimieten gebeurt dat stapsgewijs. Ziet u een fout? Laat het weten.

Waar hoort dit rapport bij?

Ministerie
Ministerie van Buitenlandse Zaken
Onderdeel volgens het rapport
Hoofddirectie Personeel en Organisatie (HDPO)
Bron
Onderzoeken en evaluaties: Tilburg University
Toegepaste standaard
Extern onderzoek
Datum
2024-01-17

Bronnen

Het rapport zelf
originele publicatie
Omschrijving
officiële omschrijving, overgenomen van de publicatiepagina
Risicolabels
toegekend met een AI-model (Opus 5) volgens de zestien thema's van Risk in Focus (ECIIA), niet door mensen gevalideerd
Bijgewerkt
augustus 2026