Normdenken dodelijk

Om werkelijk te weten hoe het met IT gaat, moet je alle data onderzoeken: documentatie, administratie en realisatie. Vanuit deze bit level-datapuree kun je dan komen tot geaggregeerde board level-wijsheden die helpen met de juiste sturing.

Zo'n bit-to-boarddoorsnijding kent geen standaardinvulling: er is dus geen norm, vinklijstje of simpele one-size-fits-all-aanpak. Immers, er is een grote verscheidenheid aan hulpmiddelen voor het ontwerpen, ontwikkelen en onderhouden van maatwerksoftwaresystemen. Hiernaast is er een nog grotere verscheidenheid aan methoden en technieken die ontwikkelaars en beheerders zelf weer hanteren in het gebruik van deze hulpmiddelen. De diversiteit aan hulpmiddelen en gebruikte methoden en technieken in combinatie met de omvang van systemen, projecten of programma's, maakt dat het uitvoeren van een dergelijk forensisch onderzoek vaak per onderdeel (zelfs binnen een en dezelfde organisatie) op maat gemaakt moet worden. Ook kan niet alles vooraf worden overzien en heeft het uitvoeren van een dergelijk feitenonderzoek ook daardoor een sterk exploratief karakter.

Het goede nieuws is dat voor exploratief onderzoek aan big data speciale analysemethoden en -technieken zijn ontwikkeld: EDA, ofwel exploratory data analysis. Die technieken zijn veelal visueel, in tegenstelling tot klassieke data-analysetechnieken, die met een nulhypothese beginnen en met formele toetsen onderbouwd worden. Kort gezegd, voor klassieke gegevensanalyse is de volgorde: probleem, data, model, analyses, conclusies.

Voor EDA is de volgorde subtiel anders: probleem, data, analyses, model, conclusies. Bij EDA is het doel juist om te kijken wat voor relevante modellen of hypotheses er op basis van de data zijn. Dit alles wordt prachtig samengevat in het NIST/SEMATECH Engineering Statistics Handbook (zie http://www.itl.nist.gov/div898/handbook). Helaas kunt u daar niet bij begin 2019: 'Due to a lapse in government funding, this and almost all NIST-affiliated websites will be unavailable until further notice.'

Kortom, er is een hele wetenschap opgetuigd voor gevallen waarin normdenken niet opgaat. Ja, het kost een hoop gedegen statistisch handwerk. Maar je wordt beloond met een zeer nauwkeurig beeld van de staat van je IT.

Zolang IT langs allerlei normlatjes wordt gelegd, moet je niet gek opkijken dat men enerzijds aan de norm voldoet en anderzijds keihard faalt. De normlatjes geven de realiteit namelijk niet weer. Typisch zie je dat een IT-project er is om de norm te dienen in plaats van andersom. Bijvoorbeeld, code tweaken tot een of andere per contract opgelegde (nep)norm gehaald is; soms met derde partijen die alvast wat normberekeningen doen.

Het echte doel (ook van de goedbedoelende normdenkers) is goede IT. Signalen over de staat ervan komen bovendrijven bij EDA. Daarmee kun je dan als besluitvormer aan de slag om het goede te continueren, het tij te keren, of zaken (sterk) te verbeteren.

Alleen bestuurders die begrijpen dat echt onderzoek noodzakelijk is om zicht te krijgen, kunnen IT-investeringen succesvol managen. Normdenken is slechts haarlemmerolie.