Waarom uw AI-tool vage antwoorden geeft (en waarom een betere prompt niet helpt)

U heeft Copilot of ChatGPT aan het werk gezet. Iemand vraagt of een bepaalde klant zestig dagen betaaltermijn mag krijgen. Er komt een keurig geformuleerd antwoord uit. Alleen is het niet uw antwoord. En hoe u de vraag ook herformuleert, het wordt niet beter.

Dat is geen kinderziekte en het gaat niet over met de volgende modelversie. Het is een structureel probleem, en het zit op een andere plek dan waar de meeste bedrijven het zoeken.

Er zijn twee soorten vragen in uw bedrijf

De eerste is een zoekvraag: waar staat het contract met Vermeulen? Daar bestaat een document voor. Een AI-tool vindt het, opent het, en citeert eruit. Dit werkt goed, en dit is waar Copilot, Glean en de meeste AI-assistenten voor gebouwd zijn.

De tweede is een besluitvraag: mag Vermeulen zestig dagen betalen? Mag ik deze korting geven? Valt deze schade nog onder garantie? Hier bestaat geen document. De afspraak is ooit gemaakt, in een gesprek of in een mailwisseling, en daarna nooit ergens vastgelegd als geldende regel.

Uw AI-tool weet alles van de wereld en niets van uw bedrijf. Niet omdat hij dom is, maar omdat niemand hem heeft verteld wat er bij u geldt.

Wat er gebeurt als u het toch vraagt

De tool doet dan wat hij altijd doet: hij zoekt naar iets dat op een antwoord lijkt. En hij vindt van alles. Een mailwisseling van veertien maanden geleden waarin een accountmanager zestig dagen toezegde. Algemene voorwaarden uit 2023 waarin dertig dagen staat. Een interne procedure zonder auteur en zonder datum die zegt: alleen bij vooruitbetaling. Een offerte uit 2024 met een uitzondering van vijfenveertig dagen.

Vier bronnen, alle vier ooit waar geweest. Geen enkele draagt gezag, en nergens staat welke er wint.

Het model kiest er één, en meldt niet dat het een keuze was. Er verschijnt geen waarschuwing, geen voorbehoud, geen "let op, ik vond tegenstrijdige informatie". U krijgt een vloeiend, zelfverzekerd antwoord dat mogelijk fout is.

Waarom een betere prompt niet helpt

Dit is het punt waar de meeste bedrijven blijven hangen. Er wordt een promptcursus geregeld, iemand gaat prompt engineering doen, er komen sjablonen. En het wordt niet beter.

Prompting bepaalt hoe een model antwoordt: de toon, de lengte, het format. Het bepaalt niet waarover het beschikt. Als de afspraak nergens is vastgelegd, verandert een betere formulering alleen de vorm van het antwoord, niet de juistheid ervan. U krijgt hetzelfde foute antwoord, alleen mooier opgeschreven.

Waarom dit erger wordt in plaats van beter

In de oude situatie gaf één medewerker één fout antwoord aan één klant. Dat werd meestal ergens onderweg opgemerkt: een collega dacht mee, iemand belde na, de accountmanager zei dat het anders lag.

Nu geeft één tool datzelfde antwoord aan iedereen die het vraagt. Maandenlang. Met volle overtuiging en zonder voorbehoud. En er is niemand meer die meedenkt, want mensen controleren nauwelijks wat een systeem zegt. Dat is geen slordigheid, zo gaan we nu eenmaal met systemen om.

De fout komt daardoor pas boven op het moment dat hij duur is geworden: op een factuur, bij een klant, of in een audit.

Waar het antwoord dan wel vandaan moet komen

Niet uit een beter model. Uit de mensen die het weten, en uit de stukken waarin het half is vastgelegd.

Concreet betekent dat: de afspraak ophalen, hem laten bevestigen door degene die het weet én door degene die erover gaat, en hem daarna vastleggen met drie dingen erbij die bijna nooit ergens staan:

• Een eigenaar. Een naam, niet een afdeling. Iemand die er verantwoordelijk voor is dat dit klopt.
• Een datum. Wanneer is dit goedgekeurd, en wanneer wordt het opnieuw bekeken?
• Een bron. Waar komt het vandaan? Welke overeenkomst, welk besluit, welke afspraak?

Pas als dat er staat, kan uw AI-tool er iets zinnigs mee. En dan hoeft u niets te vervangen: dezelfde tool, met uw afspraken erin, geeft een antwoord dat klopt, en laat zien wie het heeft goedgekeurd en wanneer.

Wat u morgen kunt doen

Stel binnen uw eigen organisatie één vraag aan drie verschillende mensen. Kies iets waar geld aan hangt: de maximale korting, de standaard betaaltermijn, de garantietermijn na oplevering.

Krijgt u drie keer hetzelfde antwoord met dezelfde onderbouwing, dan heeft u dit probleem niet. Krijgt u drie verschillende antwoorden, of drie keer hetzelfde antwoord zonder dat iemand kan zeggen waar het staat, dan weet u genoeg. En dan weet u ook waarom uw AI-tool niet beter kan presteren dan de mensen die hem voeden.