Zonder nulmeting weet u niet of AI iets heeft opgeleverd

Vraag een directie wat de AI-investering van vorig jaar heeft opgeleverd, en het antwoord is meestal een verhaal. Mensen zijn enthousiast, de doorlooptijd voelt korter, er is veel geleerd. Dat kan allemaal waar zijn. Het is alleen niet na te rekenen.

Dat komt zelden door onwil. Het komt doordat niemand heeft vastgelegd waar het werk stond voordat er iets veranderde.

Wat een nulmeting is

Een nulmeting is geen rapportage over systemen. Het is een vastlegging van hoe het werk op dit moment verloopt, op de punten waar de verandering zou moeten plaatsvinden.

Afhankelijk van het vraagstuk gaat dat bijvoorbeeld over:

• Hoe vaak een bepaald proces wordt doorlopen, en door wie.
• Hoeveel tijd er in een specifieke stap gaat zitten.
• Welke besluiten er in een overleg vallen en waarop ze worden gebaseerd.
• Hoe consistent hetzelfde proces bij verschillende teams verloopt.
• Waar de kwaliteit nu op wordt beoordeeld, als dat al gebeurt.

Welke punten gelden, verschilt per traject. Dat ze vooraf worden vastgesteld, verschilt niet.

Waarom achteraf meten niet werkt

Na de oplevering is er altijd data. Gebruikscijfers, logs, een enquête onder medewerkers. Het verleidelijke is dat die cijfers op zichzelf gunstig ogen: tweehonderd gebruikers, duizend sessies per maand, achtenzeventig procent tevreden.

Zonder vertrekpunt is elk getal een los getal. Het kan vooruitgang zijn, het kan het niveau van vorig jaar zijn.

Erger nog: het nodigt uit tot het meten van wat toevallig voorhanden is in plaats van wat ertoe doet. Activatie is eenvoudig te tellen. Of een besluit beter onderbouwd is, niet. Dus wordt activatie gerapporteerd, en verschuift het gesprek ongemerkt van uitkomst naar gebruik.

Wat het kost om het wel te doen

Een nulmeting kost tijd aan het begin van een traject, op het moment dat iedereen juist wil beginnen. Dat is de echte reden dat hij vaak overgeslagen wordt. Het is zelden een principieel bezwaar; het is ongeduld.

Daar staat tegenover dat hij twee dingen oplevert die je anders niet krijgt. Hij maakt achteraf aantoonbaar wat er is veranderd. En hij dwingt vooraf een scherper gesprek af over wat er eigenlijk moet veranderen — want je kunt niet meten wat je niet hebt benoemd.

Een harde grens

Wij nemen geen opdrachten aan waarin niet gemeten mag worden. Dat is onze enige harde grens en hij is eenvoudig te verdedigen: zonder meting kunnen wij niet waarmaken wat wij beloven, en u kunt niet controleren of wij het hebben waargemaakt.

Een leverancier die geen nulmeting wil, vraagt u om hem op zijn woord te geloven. Dat is bij een AI-investering van enige omvang geen redelijk verzoek.