Verhoef: Is slagen ook echt geslaagd

Dus je slaagt als je de bovengrenzen van tijd en kosten en de ondergrens van de functionaliteit op eerste verzoek kunt voorspellen. Blijf je onder budget? Prima. Kom je niet over je projectduur heen? Okay! En dan het eisenpakket: gaat dat in ieder geval lukken? Ja? Geslaagd!
Sinds 1994, toen het eerste Standish-rapport uitkwam, zijn velen zich rotgeschrokken en dat is tot in de burelen van de top doorgedrongen. De IT-verantwoordelijken werden ontboden, en men wilde weten of ook in hun organisatie de slagingspercentages zo laag waren. Sommige organisaties gingen zelfs sturen op deze Standish KPI’s: had je een hogere slagingskans, dan was je beter. Dat is in principe een goed idee; je wilt immers dat projecten slagen. De vraag is alleen of dat met de Standish KPI’s moet. Want door nooit te weinig budget aan te vragen, altijd ruim de tijd te nemen en niets te beloven, zal je eerste voorspelling altijd gunstig uitvallen voor Standish.
Dat effect zien we ook in hun vervolgonderzoeken: de budgetoverschrijding is substantieel gedaald van bijna 200 procent naar 50 procent. Standish concludeert: “the timeline of The Standish Group’s seven years of CHAOS research shows decided improvement in IT project management. This year project success rates, while modest, are up again across the board.” Maar, is het projectmanagement echt verbeterd, of geven de projectleiders gewoon veilige schattingen af?
Daarover staat niets in de publieke stukken van Standish. Trouwens daarover vind je sowieso vrijwel geen literatuur. Bij sommige organisaties houdt men inderdaad slagingspercentages bij, en die kunnen heel hoog zijn. Zo verbaasde ik me bij een club al jaren over scores in de orde van 80 procent binnen budget. Wat is het geheim van zulke hoge slagingskansen? Want lopende de projecten deed men eigenlijk niets bijzonders. Wat bleek? De transparantie van hun data was uiterst slecht, en de kwaliteit van de schattingen ook. De forecasts waren geoptimaliseerd naar de Standish KPI’s. In een extreem geval was er sprake van een schatting die een factor 50 boven de uiteindelijke waarde lag. In dat licht bezien was het een wonder dat er toch nog 20 procent van de projecten over budget was.
De transparantie kun je onderzoeken door te kijken of het voorspellingsgehalte van een schatting hoger wordt naarmate het project vordert. Idealiter geef je een schatting aan het management zodat zij daarop kunnen sturen. Men is gebaat bij zo snel mogelijk en zo goed mogelijk. Als je meer van een project weet, kun je een betere schatting maken. Als een project al een tijdje loopt, weet je hoe lang je bezig bent, wat je al hebt gedaan, en dat geeft weer informatie over hoe het verder zal gaan. Bij deze club was het omgekeerd: de schattingen werden steeds slechter naarmate men vorderde.
De kwaliteit van een schatting kun je bepalen door het verschil te meten tussen de verschillende schattingen en de feitelijke waarde. Je deelt de feitelijke waarde door het verschil van de feitelijke waarde minus de schatting, en dat over de tijd. Dat klinkt moeilijk maar het doet je wat je wilt. Als je veel te veel schat, wordt je schatting groot ten opzichte van de feitelijke waarde, dus de ratio wordt dan laag. Immers het verschil tussen de feitelijke waarde en schatting is dan bijna de schatting wat een laag getal oplevert bij deling. Als je veel te weinig schat ten opzichte van de feitelijke waarde, wordt die ratio wederom laag. Immers het verschil tussen de kleine schatting en de feitelijke waarde wordt dan bijna de feitelijke waarde, en door te delen kom je dan uit op een getal in de buurt van 1.
Als je daarentegen vrijwel de feitelijk waarde schat, dan is het verschil tussen forecast en actual klein. En een klein getal in de noemer geeft een groot getal na deling. Dus naarmate die ratio hoger wordt, is de kwaliteit van schatten ook hoger. Als je mensen afrekent op transparantie en kwaliteit van schatten, dan win je alleen maar: je kunt er dan van uitgaan dat je stuurt op zo goed mogelijke voorspellingen, niet op wat men wil horen, want dat geeft geen bonus. Bovendien kun je dan tenminste echt vaststellen hoe het gesteld is met de plan-accuracy van projecten. Transparantie en kwaliteit zijn lastiger te begrijpen maar hebben het voordeel dat ze doen wat je werkelijk wilt; de Standish KPI’s zijn heel simpel maar niet transparant en van bedenkelijke kwaliteit.
Maar transparantie en kwaliteit zijn geen KPI’s die een project sucesvol maken. Als een investering volgens planning opgeleverd wordt, zegt dat niets over het rendement. Ik zou dus een project geslaagd noemen als het rendement daar aanleiding toe geeft.

Prof. dr. Chris Verhoef is hoogleraar Informatica aan de Vrije Universiteit in Amsterdam. Hij schrijft maandelijks een ­column in AG II.