Wat ik wilde weten
Kan een taalmodel aangeven of een document genoeg bewijs bevat voor een bepaalde governancepraktijk? Ik werkte met 25 indicatoren rond acht domeinen. De referentie bestond uit 1.000 beoordelingen verdeeld over 40 onderzoekscases.
Wat het bouwen blootlegde
Een model kan een overtuigende reden geven en toch de verkeerde klasse kiezen. In de uiteindelijke evaluatie kwam 51,6% van de voorspelde klassen precies overeen met de referentie. Dat maakt de bronpassage en de mogelijkheid tot menselijke correctie essentieel bij het gebruik van zo’n prototype.
Wat dat betekent voor organisaties
De tool kan een reviewer helpen bij het zoeken naar aanwijzingen in documenten. Een oordeel over de feitelijke werking van een proces vraagt ook gesprekken, aanvullende bewijsstukken en professioneel oordeel.