Standish-cijfers niet betrouwbaar

Bij een aantal industriële partijen was het me al opgevallen dat de cijfers significant anders waren dan wat Standish beweert. De uitdaging was dus: verklaar de verschillen. Na een uitgebreide analyse van 1741 projecten, ter waarde van 1059 miljoen euro met 12.187 schattingen voor belangrijke KPI’s zoals kosten of doorlooptijd is gebleken dat de cijfers van Standish voor projectsucces en de zogenaamde challenged projects niet betrouwbaar zijn. Hoe zit dat?
We hebben van een groot aantal projecten vastgesteld wat de kwaliteit is van de schattingen door te meten wat het verschil is tussen schatting en feitelijke waarde van een Key Performance Indicator en daarnaast hebben we de systematische afwijkingen in kaart gebracht. Bij dat laatste moet je denken aan bijvoorbeeld de salamitactiek: om een project ‘erdoor’ te krijgen, maak je je schatting te laag, en elke keer wordt ie een beetje hoger totdat het ‘point of no return’ is gepasseerd en dan kun je langzamerhand de waarheid gaan vertellen. Als je dan de ratio van de schatting en de feitelijke waarde over de tijd plot, dan zie je dat die breuk vaker kleiner dan een is dan groter dan een.
Daarnaast hebben we de definities van Standish losgelaten op dezelfde gegevens. En daar zit meteen het probleem: de definitie van een geslaagd project is dat je op eerste schatting van kosten en doorlooptijd niet hoger uitkomt dan de feitelijke waarde, en dat de eerste schatting van de functionaliteit niet lager uitkomt dan de feitelijke waarde. Als je goed kijkt, betekent projectsucces dan ook: ik beloof niets, maar ik doe daar uitermate lang over en voor heel veel geld. De kans is dan heel groot dat je binnen budget blijft, dat je binnen de tijd blijft en dat je altijd meer oplevert dan beloofd. In Standish-termen: een geslaagd project dus. Maar wij weten nu beter: dat is een project waar de schattingskwaliteit slecht is (je zit of veel te hoog of veel te laag), en waarbij er een politieke onderstroom in de schattingen zit doordat je stelselmatig te hoog of te laag schat.
Als je die definities loslaat op de gegevens die we geanalyseerd hebben, kom je tot de conclusie dat organisaties die het volgens Standish heel goed doen, het in werkelijkheid heel slecht doen, wat komt door slechte kwaliteit en politieke schattingen. Nu is het zo dat Standish daar niet voor gecorrigeerd heeft. En dat nu betekent dat hun conclusies onbetrouwbaar zijn voor succesvolle en problematische projecten. De categorie gefaalde projecten loopt op grond van dit onderzoek geen gevaar: er is dan namelijk niets opgeleverd, althans niet iets dat werkt. En dat kun je wat gemakkelijker meten dan een overschrijding waarvan je niet weet of de initiële schatting al gekleurd was. Om dezelfde reden zijn alle andere overschrijdingsstatistieken die geen rekening houden met politieke bijsmaak ook onbetrouwbaar. De meeste van die statistieken hebben de krant nooit gehaald, in tegenstelling tot de Standish-cijfers.
Uiteraard hebben we Standish Group onze bevindingen gestuurd. In hun antwoord zeggen ze dat ze een “opinion based advisory organization” zijn. Met andere woorden, hun werk is op perceptie gebaseerd in plaats van harde data zo lijkt het. En over de politieke onderstroom zegt men dit: “Since we are a neutral party to begin with – we try to eliminate all bias” aldus de Chairman van Standish. Merk op dat dit nergens op slaat: Omdat je neutraal bent probeer je alle afwijkingen te elimineren. Proberen? Als je met tien PhDs bij de CERN boven een bellenvat staat te staren en in een volkomen gecontroleerde omgeving waarnemingen doet, dan nog heb je last van onverklaarbare waarden. Als je routinematig data verzamelt, heb je zo tot 10 procent aan uitbijters te pakken. En de klap op de vuurpijl is dit: “All data and information in the CHAOS reports and all Standish reports should be considered Standish opinion and the reader bears all risk in the use of this opinion. Opinions have no bias – they are our opinions. You might agree with them, but they are our opinion.” Deze door ons afgedwongen ‘disclaimer’ heb ik nog nergens in hun CHAOS-rapporten aangetroffen, waarvan acte.