Slechte schattingen demotiveren

De fabrikant over het scherm: "[it] makes workout data easier to read, follow the progress and achieve the goals. In addition, a multi-sensory experience of this treadmill engages users and encourages repeat usage." Twee woorden: voortgang en doelen.

Inderdaad, op het scherm staat tweemaal in koeienletters: goal. Linksboven een zelf in te stellen doel met tijd als eerste. Als je dat te lastig vindt: geen nood, de grootste groene knop op het gehele display roept Quick start, dus je kunt direct aan de slag met een standaardprogramma. De doelmeter gaat op 15 minuten en onderweg wordt je op allerlei manieren geïnformeerd.

Toch worden sporters snel afdekkers. De instructeur legt uit: eerst de warming-up, en dan zwaarder zetten voor de work-out. Vermogen, calorieën, hartslag, toeren per minuut, instelmogelijkheden, enzovoort. En elke twee minuten loopt er een boodschap over het scherm wat je per uur verbrandt. Dat voorspelt veel goeds, maar op het eind blijkt er niets van te kloppen. Het totaalaantal verbruikte calorieën wordt niet behaald. Sterker, door de foute algoritmiek wordt dat nooit gehaald. Dan kun je dat dashboard beter afdekken.

Door de foute algoritmiek wordt het totaal aantal verbruikte calorieën nooit gehaald

Hier zit het volgende achter: elke twee minuten zie je de actuele verbranding van dat moment, en niet de gemiddelde verbranding vanaf het begin. Die actuele verbranding wordt echter per uur weergegeven, waardoor het idee ontstaat van een voorspelling. Tijdens de warming-up verbrand je minder, dus over het geheel gemeten kom je dan altijd op minder uit dan na de warming-up. De melding is een beschrijving van het nu, die verpakt is als voorspelling van de toekomst. Als het tijdsdoel is gehaald, blijkt de geschepte calorieverwachting nooit uit te komen.

Sterker, als je het een uur volhoudt, kun je de feitelijke (altijd lagere) uitkomst langs zien komen, terwijl het algoritme tezelfdertijd een veel hogere score aangeeft. Het algoritme gebruikt het verleden niet, en dat zie je ook heel vaak in de IT: men vergeet het geschakeerde verleden graag, en extrapoleert het heden naar de toekomst, en dat is net als bij fitness een verkeerde gedachtegang.

Het extrapoleren van het heden naar de toekomst is een verkeerde gedachtegang

Wil je weten hoe het nu gaat: gebruik een voortschrijdend gemiddelde. Maar dit is een slechte voorspeller van de toekomst. Wil je weten hoe het straks gaat: gebruik het gemiddelde vanaf begin tot nu. Maar dit is een slechte beschrijver van het heden.

Bij IT-projecten kijkt het management hoe snel het nu gaat, en extrapoleert dat naar de toekomst. En dat is even onjuist als de fitnesscomputer. En het demotiveert projectleden idem, want de werkvloer voelt dat het onhaalbaar is, net zoals je zelf op de crosstrainer zult voelen dat het voorspelde doel niet haalbaar is. Alleen voelt het IT-management het niet, wegens onvoldoende kijk op development.

Resultaten uit het verleden bieden geen garantie voor de toekomst maar zijn de enige kans op realistische schattingen. Extrapolatie van het nu zal leiden tot onrealistische verwachtingen en als je dat merkt kun je natuurlijk ook je IT-dashboards afdekken, net als in de fitness.