Zoekmachines worden steeds intelligenter. Antwoorden op vragen worden meer en meer in volzinnen gegoten. Achter deze ontwikkeling zit de opkomst van AI (artificial intelligence). Er zijn inmiddels honderden apps die werken met het idee van AI en ChatGPT zit hierbij vaak onder de motorkap. Voor huis-en-tuingebruik kun je gratis gebruik maken van ChatGPT. Het betreft hier een taalmodel, die heel slim kan bedenken waar je naar zoekt. Het kent niet de betekenis van de woorden, waardoor het (nog) wel vaak fouten maakt. AI kun je niet alleen inzetten voor het zoeken naar informatie, het kan informatie ook voor je ordenen en je presenteren op de manier die je wenst. Zo kun je een brief laten maken, een e-mail laten opstellen, een samenvatting genereren en ook een complete toets aanleveren over een onderwerp. Op de laatste optie ga ik verder in.

Toetsen direct ontwikkelen met ChatGPT
Je kunt ChatGPT rechtstreeks benaderen vanuit de browser via het adres: chat.openai.com/, maar dit kan ook met speciale apps voor telefoon en tablet. Je moet eerst een account aanmaken en dat kan gratis voor de basisversie. Het werkt als een chatprogramma: je zegt wat tegen het systeem en het systeem antwoordt. Je kunt daarna je vraag verder verdiepen en op basis daarvan krijg je nieuwe output. Ik ben geograaf en ik zou kunnen zeggen: “Maak een mc-toets van 5 vragen over het onderwerp demografie”. Binnen een paar seconden krijg ik vijf mc-vragen, met steeds vier antwoordkeuzes, van ChatGPT terug. Onderaan worden de juiste antwoorden bijgevoegd. Ben je niet tevreden over de vragen dan kun je drukken op ‘Regenerate response’ en er worden direct vijf nieuwe vragen gemaakt. Een betere toets krijg je als je betere vragen stelt. Zo zou je kunnen toevoegen “Bedoeld voor een 12-jarige” of “aan bod moeten komen: vergrijzing, geboortecijfer, sterftecijfer en migratie”. Hoe duidelijker je een vraag stelt, hoe beter de toets die je krijgt. Je kunt ook een toets met meerdere vraagvormen maken: “Geef me 3 mc-vragen en 2 essay-vragen”. Bij het laatste type krijg je (nog) geen antwoordmodel terug.

Tip: maak voor jezelf een tekstbestand met daarin de twintig meest te stellen vragen aan ChatGPT. Je hoeft dan niet bij elke vraag alles weer opnieuw in te typen.

Toetsen genereren op basis van eigen leerstof
De kans dat ChatGPT zo maar een toets ontwikkelt die aansluit bij wat je hebt behandeld in de klas, is erg klein. Handiger is het dan om de leertekst van de leerlingen aan ChatGPT mee te geven en op basis daarvan de toets te laten ontwikkelen. Een opdracht wordt dan iets als ”Maak een mc-toets van 5 vragen over het onderwerp demografie, op basis van deze tekst: enzovoorts”. Hiermee dek je direct (deels) het niveau van de leerling af, mits de tekst daarvoor eerder geschikt is gemaakt.

Tip: zorg dat je alle leerstof digitaal als tekst beschikbaar hebt, liefst als zogenaamde platte tekst zonder opmaak. Deel alles goed in binnen mappen, zodat je teksten snel terug kunt vinden. Via kopiëren en plakken breng je de tekst dan naar ChatGPT.

Afbeelding 1: ChatGPT ontwikkelt geduldig elke toets voor je die je wenst

Tools die gebruik maken van ChatGPT
Als je een paar keer met ChatGPT gewerkt hebt, zal het duidelijk zijn dat je steeds dezelfde opties mee geeft bij het stellen van een vraag. Er komen daarom steeds meer programma’s uit die je de mogelijkheid bieden toetsen te generen op basis van een te plakken tekst, een op te geven website, een te uploaden tekstbestand of door het handmatig opgeven van vragen. Op de achtergrond raadplegen ze daarbij ChatGPT. Hierbij kun je het vraagtype en de taal kiezen en het moeilijkheidsniveau aangeven. Voorbeelden zijn QuizGecko, Questgen, OpExamns en Fillout. Het voordeel is dat je niet zelf meer de juiste vraag hoeft te stellen. Nadeel van deze programma’s is dat als je echt wat wilt, je een licentie zal moeten afsluiten. Verder heb je nog niets aan de vragen, want ze zitten dan nog niet in je eigen toetsplatform. Je kunt meestal wel exporteren naar het klembord, CSV en Excel.

Afbeelding 2: Via tools als QuizGecko kun je ChatGPT nog sneller toetsen laten ontwikkelen

Alternatieven voor ChatGPT

Het maken van toetsen met ChatGPT heeft enkele grote nadelen.

• Allereerst toont het niet de bronnen op basis waarvan toetsen worden gegenereerd.
• Een ander nadeel is dat bij open vragen geen antwoordmodel wordt gegeven.

Als alternatief kun je Perplexity gebruiken, die beide problemen afdekt. Met de opdracht “maak een toets van vijf vragen over het begrip demografie” worden standaard essay-vragen gemaakt. Je maakt er ook mc- en juist/onjuist-vragen mee, door dat op te geven: “mc-vragen” of “true-false vragen”. Het programma kun je ook gebruiken voor het schrijven van je teksten. Standaard krijgen mc-vragen drie antwoorden maar met het toevoegen van “met ABCDE” krijg je er bijvoorbeeld steeds vijf.

Toetsen van ChatGPT exporteren naar het eigen platform
Vanuit ChatGPT en Perplexity kun je een gegenereerde toets naar het klembord sturen en daarna in een tekstverwerker plakken. Idealiter zou je deze toets willen omzetten naar het formaat van je eigen toetsplatform. Ons Windows-programma QuestionConstructionKit kent de mogelijkheid de toets van het klembord in te lezen en daarna weg te schrijven naar onder meer Woots, Quayn, Dugga, Kahoot, Socrative en iQuiz, maar ook naar open standaarden als IMS QTI 2.2. Het programma kan ook zelf toetsen genereren op basis van woorden- en begrippenlijsten en ook taaloefeningen op basis van leesteksten, door gebruik te maken van ingebouwde slimmigheden. Je maakt dan een toets in ChatGPT, brengt die daar naar het klembord, leest het klembord uit in de QuestionConstructionKit en kiest het uitvoerformaat. Het gemaakte upload je vervolgens naar je eigen toetsplatform. Alle bekende toetsplatforms kennen een importoptie hiervoor.

Afbeelding 3: Perplexity geeft bij open vragen wel een antwoordmodel en ook een bronvermelding

Toetsen genereren vanuit een toetsplatform
Het ook in Nederland actieve toetsplatform Dugga kent een ingebouwde toetsgenerator, op basis van AI. Ook hier kun je weer zelf vragen stellen of een leertekst uploaden of plakken en daarna vragen genereren.

Afbeelding 4: de mogelijkheden van ChatGPT, direct binnen Dugga

Het mooie is dat je daarna de vragen kunt aanwijzen en die direct kunt laten opnemen in een toets naar keuze. Die vragen kun je dan naar wens aanpassen en de toets verder uitbreiden met eigen vragen. Op deze wijze maak je optimaal gebruik van de mogelijkheden van ChatGPT, maar dan gewoon binnen het toetsplatform waarin je al werkt.

Tenslotte
ChatGPT staat nog in de kinderschoenen en er moet nog goed gekeken worden wat nu de werkelijke meerwaarde ervan is. Duidelijk is dat het vragen op het niveau van reproductie snel voor je kan genereren. Op steeds minder scholen is echter aandacht voor de echte begripskennis. Het gaat om integreren, toepassen of construeren. Maar het kan geen kwaad voor elke leerling een soort van toetsmap klaar te zetten met enkele honderden formatieve toetsen bij alle begrippen die voor jouw vak tijdens je schoolloopbaan langs gaan komen. Ikzelf ben zo bezig met ChatGPT zo’n 500 begripstoetsen te ontwikkelen voor het vak aardrijkskunde. Elke leerling kan dan zichzelf bevragen voor exact de begrippen die hij/zij wil oefenen. Als een leerling de begrippen goed beheerst, kan hij/zij ook beter de gestelde vragen op een ander cognitief niveau in een toets of examen begrijpen. ChatGPT ontwikkelt zich snel en waarschijnlijk kan het op termijn ook open vragen genereren, met daarbij een goed antwoordmodel. Er zijn al scholen in Nederland die experimenteren met het met ChatGPT nakijken van open vragen. Uiteraard is ook het Cito hiernaar aan het kijken. Duidelijk is dat de ontwikkelingen hier heel snel gaan en het werk van de toetsconstructeur en examencorrector zeker zal gaan beïnvloeden.

Links naar de in de tekst genoemde applicaties:

• ChatGPT: chat.openai.com  
• Perplexity: www.perplexity.ai  
• QuizGecko: www.quizgecko.com  
• QCKit: www.questionconstructionkit.com 
• Dugga: www.dugga.com/nl/ 

Alle in dit artikel genoemde mogelijkheden, komen uitgebreid aan bod in mijn Handboek Toetsconstructie, vanaf medio 2024 online beschikbaar via bureau opdendrieberg. Zie tegen die tijd voor meer informatie: handboektoetsconstructie.nl .