Probleemstelling
In dit hoofdstuk staan we kort stil bij de probleemcontext (de opdrachtgever, het vraagstuk en waardoor het vraagstuk is ontstaan), de eerste stappen die we gevolgd hebben om het probleem helder te krijgen en de hoofdvraag en deelvragen die we gevormd hebben om ons onderzoek te kunnen starten.
Context
Een belangrijk strategisch thema van de Haagse Hogeschool is de kwaliteit van onderwijs en onderzoek. Een van de concrete methodes die de school noemt in publicaties over dit thema is programmatisch toetsen. Met programmatisch toetsen kan de gehele ontwikkeling van een student beter gevolgd worden, doordat er niet enkel getoetst wordt aan het einde van een vak (waarna enkel op basis van vaak 1 toets een zak/slaag beslissing gemaakt wordt). Een belangrijk speerpunt van programmatisch toetsen is namelijk het verzamelen van veel datapunten om deze zak/slaag beslissing te kunnen maken.
Binnen de school wordt er gebruik gemaakt van Brightspace als LMS (Learning Management System). Op dit moment wordt Brightspace voornamelijk gebruikt voor het aanbieden van lesstof. Echter biedt Brightspace ook de mogelijkheid om digitaal toetsen af te nemen. Een minderheid van docenten op de school maakt reeds gebruik van deze mogelijkheid om de voortgang van studenten te meten.
Het regelmatig tussentijds digitaal toetsen van studenten kan een manier zijn om aan eerdergenoemde datapunten te komen. Echter betekent dit meer werkdruk voor docenten. Immers zouden zij meer toetsen moeten maken. Gezien de opkomst van generatieve AI (bijvoorbeeld ChatGPT) en de mogelijkheden die dit biedt, is de vraag ontstaan of generatieve AI hier iets in kan betekenen. Het is reeds mogelijk om lesstof en een onderwerp in te voeren in ChatGPT en met deze invoer toetsvragen te genereren. Echter is dit niet voor iedere docent weggelegd om te doen, en kan ChatGPT niet helpen om deze vragen in Brightspace te krijgen.
Om deze redenen is door dr. ir. Marinus Maris (M.Maris@hhs.nl), onze opdrachtgever, deze vraag bij ons neergelegd.
Orientatie
Tijdens een brainstormsessie hebben we alle gedachtes die we bij het project kregen, op papier gezet:
Om na te gaan bij de opdrachtgever welk gedeelte van het proces van een quiz maken en afnemen, hij graag ondersteund zou zien door middel van een technische oplossing, hebben we een tweetal flowcharts gemaakt. De bovenste toont het proces zoals wij begrepen hadden. De onderste toont het proces, maar dan ondersteund door AI.
Na voorleggen van deze flowcharts bleek dit inderdaad te zijn wat de opdrachtgever in gedachte had.
Hoofdvraag en deelvragen
De orientatie heeft de volgende hoofdvraag opgeleverd:
Op welke wijze kan een generatieve AI-applicatie toetsing via Brightspace automatiseren voor de docenten HBO-ICT aan de Haagse Hogeschool, om het leerproces van studenten te bevorderen?
Met de volgende deelvragen:
- Welke toetsvormen zorgen voor lesstofretentie bij de studenten in de klas?
- Welk bestaand AI-model kan het beste automatisch toetsvragen met bijbehorende antwoorden genereren op basis van ingevoerde lesstof?
- Welke combinatie van prompts kan toetsvragen met bijbehorende antwoorden uit de ingevoerde lesstof genereren binnen de generatieve AI-applicatie?
- Welke mogelijkheden biedt Brightspace om de automatische gegenereerde toetsvragen met bijbehorende antwoorden te importeren?
De insteek van de paper verschilt iets van de insteek van het gehele onderzoek. Het AI-stuk uit het onderzoek heeft de hoofdrol gekregen in de paper. Hiervoor hebben we ons beperkt tot deelvraag 1 t/m 3.
De reden voor deze keuze is dat het prototype en de export naar Brightspace beperkte wetenschappelijke waarde hebben.