De muzikale voorkeur van de muis

Er zijn dus enorme afwijkingen tussen schatting en werkelijkheid van belangrijke Key Performance Indicators (KPI) zoals kosten, doorlooptijden en functionaliteit. In termen van kansverdelingen betekent dit dat de staarten van die verdelingen dik en lang zijn. Inderdaad zijn de meeste KPI’s van IT-projecten niet ‘normaal’ verdeeld. Normaal betekent dat 68 procent van de gegevens binnen een redelijke spreiding om het gemiddelde zit, dat 95 procent van de waarnemingen binnen twee keer die spreiding zit, en dat 99,7 procent binnen 3 keer die spreiding valt. Maar bij IT-KPI’s kun je zomaar 25 keer de spreiding van het gemiddelde afzitten. Daarom voelt menig IT-manager zich wel eens ongemakkelijk omdat de onzekerheid zo uit de hand kan lopen. Je kunt dat ook omdraaien: er is een grote zekerheid dat er sterke afwijkingen zullen zijn. Daar kun je op reageren met slapeloze nachten maar ik heb een alternatief advies: accepteer het feit dat je er gigantisch naast kunt zitten, en gebruik die zekere onzekerheid in je voordeel. Anderen zijn u voorgegaan! Een verzekeraar heeft vrijwel nooit slapeloze nachten van de soms zeer hoge uitkeringen. Sterker, ze adverteren daar juist mee: zo meldt een Engelse verzekeraar vol trots dat ze in 2003 dagelijks gemiddeld 11,9 miljoen pond uitkeerden. Goed voor de nachtrust van hun klanten. Glashelder dat ze alleen zelf goed slapen als ze volledig in control zijn, ofwel de extreme gevallen analyseren, zodat je daarop de premies afstemt. Hoe beter je de extremiteiten snapt, hoe scherper je kunt aanbieden. Dat kun je ook toepassen op IT. Vertaal de 30-50-20 regel in termen van extreme waarden. In 80 procent van de gevallen zijn de werkelijke kosten en doorlooptijden dus hoger tot veel hoger dan de schattingen. Die KPI’s gedragen zich derhalve als kansverdelingen met dikke en lange staarten naar hoge waarden, omdat de kans erop aanwezig is. Echter voor de opgeleverde functionaliteit is het anders: die is in 80 procent van de gevallen lager tot heel veel lager dan geschat. Dus die staart is ook dik, maar naar lagere waarden. De staarten gaan dus alle kanten op. Als de kat van huis is, dansen de muizen op tafel. En de kans is nihil dat het linedancing is. Gegevens over kosten, doorlooptijden en functionaliteit kun je met een statistisch pakket in een oogwenk visueel maken en zien of de 30-50-20 situatie van toepassing is. Toen ik dat onlangs bij honderden IT-projecten binnen een grote organisatie deed, stonden alle staarten netjes dezelfde kant op. Dat is een belangrijke constatering als je de IT moet besturen. Maar hoe interpreteren we nu zoiets? Dikke staarten betekenden immers dikke problemen? Ja en nee. Ja als de muizen los gaan op James Brown, en nee bij John Denver. Dan heb je ze namelijk op een rijtje door systematisch 80/20 denken. Deze verhouding is zo’n honderd jaar geleden door Pareto ontdekt in de context van de vital few and trivial many: 20 procent van de bevolking bezat 80 procent van de rijkdom. Als bij IT-projecten de grote ook de vital few zijn, dan ben je goed bezig. Als de kleine de trivial many zijn, ben je ook goed bezig. Dan kun je je op de vital few richten omdat kleine projecten een veel lager risico profiel hebben. Precies dat trof ik ook aan: de kans was het grootste dat de IT-projecten redelijk klein waren, maar er waren ook veel extreme waarden omhoog: de vital few. Als je in control bent heb je dus voor de doorlooptijden ook een piek rond een bepaalde tijd: om die trivial many in uit te voeren. En ook hier representeert de dikke staart de veel langere doorlooptijden van de vital few. Idem voor de kosten: een piek rond het bedrag waarvoor je grosso modo de trivial many scheert, en uitschieters naar boven om de vital few te bekostigen. Kortom, met basale IT-KPI’s en simpele statistische middelen weet je meteen of je IT-muizen van disco of country houden. Prof. dr Chris Verhoef is hoogleraar informatica aan de Vrije Universiteit in Amsterdam. Hij schrijft maandelijks een column in AG II.