Kwaliteit informatiesysteem is uit te rekenen

Aan de waardebepaling van kwaliteitsattributen zit een subjectieve en een objective kant. De volgende definitie van veiligheid drukt dat treffend uit: ‘Security is the state of being or feeling secure’. Als je je veilig voelt, maar je bent onveilig, is de kans groot dat je te weinig investeert in beveiliging. Andersom, als je je onveilig voelt, maar je bent veilig, is de kans groot dat je te veel investeert. Gebruiksvriendelijkheid, beschikbaarheid, integreerbaarheid? Idem dito. Het gaat om de vraag welke risico’s je loopt en wenst te lopen met softwarekwaliteit. Triviaal? Er is een waslijst van incidenten waarin softwarekwaliteitsgebreken rampzalige gevolgen hebben gehad.
Er zijn diverse methodieken voorhanden om investeringen in softwarekwaliteit te rechtvaardigen. Deze zijn grofweg onder te verdelen in ‘objectief’ uitrekenen en ‘subjectief’ afwegen van keuzemogelijkheden. Beide hebben hun merites. Objectief vaststellen wordt met grondig en onpartijdig geassocieerd en subjectief vaststellen met pragmatisch en snel. Objectief: Wat is de waarde ervan? Subjectief: Wat is het ons waard? Objectief: Welke risico’s lopen we en welke risicokerende maatregelen zijn er? Subjectief: Welke risico’s vinden we acceptabel en wat hebben we over voor de maatregelen? In dit artikel worden enkele objectieve en subjectieve methodieken besproken voor het sturen op toegevoegde waarde van softwarekwaliteit.

Kasstromen
Objectief uitrekenen betekent het toepassen van een financieel instrumentarium en kwantitatieve risicoanalyse. De premisse hierbij is dat het maken, uitrollen en gebruiken van software veranderingen bewerkstelligt. Die veranderingen veroorzaken kasstromen. Zijn er kasstroomberekeningen opgesteld, dan worden deze geëvalueerd door de netto huidige waarde en door eventuele andere metrieken te berekenen. Wanneer toegepast op gebruiksvriendelijkheid, dan is objectief vast te stellen dat een gebruiksvriendelijkere versie van een administratief systeem ervoor zorgt dat bepaalde taken minder tijd kosten. Mits onmiddellijk geborgd in de begroting van de desbetreffende afdeling, mag deze door productiviteitstoename veroorzaakte kostenbesparing worden opgenomen in een kasstroomberekening. De toegevoegde waarde van een extra eenheid gebruiksvriendelijkheid is relatief simpel vast te stellen.
Voor het bepalen van de waarde van een eenheid extra beschikbaarheid volstaat het opstellen van een simpele kasstroomberekening niet. In bijvoorbeeld een productieomgeving is relatief eenvoudig vast te stellen wat het omzetverlies is van onbeschikbaarheid van een systeem. Het vaststellen van de kans op systeemuitval bezorgt hoofdbrekens. De incidenthistorie van het systeem biedt slechts inzicht in de interne zwaktes en niet in de externe bedreigingen. Wat zijn de kansen op brand, overstroming, explosies, terroristische aanslagen en andere reële bedreigingen? Aan de hand van kwalitatieve risicoanalyse wordt vastgesteld wat de zwaktes en bedreigingen zijn die tot systeemuitval kunnen leiden en wat de impact is op de organisatie. Daarna wordt met behulp van kwantitatieve risicoanalyse geschat wat de variabiliteit van kans en impact is. Statistische gegevens en aannames in combinatie met probabilistische technieken als Monte Carlo-simulaties leveren een kwantitatief risicoprofiel voor systeemuitval. De jaarlijkse verliesverwachting van risico’s mag in kasstroomberekeningen worden opgevoerd als baten van investeringen in risicokerende maatregelen.
Met behulp van kasstroomberekeningen waarin de risico’s zijn verdisconteerd is het dus mogelijk vast te stellen wat de toegevoegde waarde is van bijvoorbeeld een extra eenheid beschikbaarheid, zowel in de initiële businesscase als in latere investeringsbeslissingen.

Niet tastbaar
Er zijn methodieken die inzicht kunnen verschaffen in keuzes waarbij ook belangrijke niet-tastbare gevolgen van softwarekwaliteit een rol spelen. Deze vallen in de categorie van ‘multi criteria decision analysis’ en meer specifiek ‘trade-off analysis’. Bij het maken van keuzes is geld vaak slechts een van de attributen en wordt onderkend dat het ondoenlijk of ongewenst is de andere attributen in kasstromen onder te brengen. Atam/Cbam, Quint en conjoint analysis bieden zulke trade-off-analyses. Trade-off-analyses zijn gebaseerd op het verschijnsel dat kiezen pijn doet. Een keuze voor flexibiliteit kan ten koste gaan van stabiliteit en performance. De centrale maatstaf die trade-off-analyses hanteren, is het nut dat de belanghebbenden toekennen aan de waarden van de beoordeelde kwaliteitsattributen. Dat is subjectief, want het zegt iets over de belanghebbende en niets over het kwaliteitsattribuut.
Atam, ontwikkeld door het Software Engineering Institute, staat voor Architecture Trade-off Analysis Method. Uitgebreid met de Cost Benefit Analysis Method (Cbam) belooft deze methode de economische consequenties van architectuurbeslissingen bij investeringen in kaart te brengen. De baten en kosten en dus de profijtelijkheid van architectuurstrategieën worden uitgedrukt in eenheden nut. Dit nut heeft geen geldswaarde en had het dat wel, dan was het niet incasseerbaar. Met Atam/Cbam is het mogelijk de toegevoegde waarde van een extra eenheid van een kwaliteitsattribuut uit te drukken in extra eenheden nut. Door dit subjectieve getal te delen door de objectief bepaalde meerkosten ontstaat inzicht in de subjectieve profijtelijkheid van architectuurstrategieën.
Quint, ofwel Extended ISO 9126, is een model om kwaliteit van software systematisch en gestructureerd bespreekbaar te maken. Met behulp van stemprocedures worden in een workshop de kwaliteitsattributen van eenheden nut voorzien, zodat ze kunnen worden geprioriteerd. Het is echter niet mogelijk na te gaan hoeveel nut een extra eenheid kwaliteitsattribuut toevoegt. Net als bij Atam/Cbam wordt er geen geldswaarde toegekend aan een eenheid nut.

Nut
Conjoint analysis is in de jaren zestig ontwikkeld in de wiskundige psychologie en daarna snel geadopteerd in marktonderzoek. In conjoint analysis is het mogelijk prijs als attribuut op te nemen. Daardoor is het mogelijk een bedrag in euro’s aan de andere attribuutwaarden te koppelen. Zo kun je dus zien, bij aankoop van een pc, voor hoeveel euro waarde je hecht aan een 19 inch ten opzichte van een 17 inch beeldscherm als je daarbij ook nog wilt letten op processorsnelheid, intern geheugen, opslagcapaciteit en prijs. De bedragen van alle attribuutwaarden in een specifieke pc-configuratie staan voor de totale waargenomen waarde ervan.
Consumenten hebben veel ervaring met waargenomen waarde als besliscriterium. Bij iedere transactie speelt het een doorslaggevende rol. In de waargenomen waarde zitten tastbare en niet-tastbare baten verborgen die we bewust of onbewust belangrijk vinden. Niemand weet hoe hoog zijn waargenomen waarde van een product of dienst is, maar bij een besluit niet te kopen, is het zeker dat de waargenomen waarde lager is dan de prijs. Conjoint analysis van kwaliteitsattributen levert in geld uitgedrukt de waargenomen waarde op die belanghebbenden toekennen aan een extra eenheid van een kwaliteitsattribuut in het licht van de andere beoordeelde kwaliteitsattributen. Zo is dus de toegevoegde waarde van bijvoorbeeld een extra eenheid performance te bepalen. Een extra mogelijkheid is dat nu ook de totale waargenomen waarde van alle configuraties van kwaliteitsattributenwaarden valt te berekenen. De configuratie met de hoogste totale waargenomen waarde geeft de hoogst gewaardeerde mix van bijvoorbeeld performance, gebruiksvriendelijkheid, stabiliteit, beschikbaarheid en prijs.
De conclusie is dat er methodieken zijn, objectieve en subjectieve, die inzicht geven in respectievelijk incasseerbare en waargenomen waarde van softwarekwaliteit. Toepassing daarvan verbetert de besluitvorming van investeringen in softwarekwaliteit aanzienlijk. De vraag of we genoeg in de kwaliteit van onze informatiesystemen investeren, is met wat goede wil, kennis van objectieve en subjectieve methodieken en enige inspanning redelijk te beantwoorden.

Ton Tijdink (ton.tijdink@dnv.com) is als senior consultant werkzaam bij DNV-CIBIT.

Methodieken voor het meten van de waarde van softwarekwaliteit
De in dit artikel gepresenteerde methodieken zijn met behulp van een aantal eigenschappen met elkaar vergeleken (zie figuur). De eigenschappen worden hier puntsgewijs toegelicht.

Direct/indirect
Met gebruiksvriendelijkheid en andere ‘directe’ kwaliteitsattributen krijg je iets tastbaars. Met veiligheid en beschikbaarheid, ‘indirecte’ kwaliteitsattributen hoop je narigheid te voorkomen. Het verschil tussen ‘directe’ en ‘indirecte’ kwaliteitsattributen is de (on)voorspelbaarheid van daadwerkelijk gebruik van de extra eenheid.

Niet-tastbare gevolgen
Gevolgen van kwaliteitsgebreken zoals ergernis bij klanten en imagoschade, blijven buiten de kasstromen als ze niet te kwantificeren zijn en onzeker is wie welke baten incasseert. Subjectieve methoden en kwalitatieve risicoanalyse houden makkelijker rekening met niet-tastbare gevolgen.Veel kwaliteitsattributen
Conjoint analysis kan op zichzelf worden toegepast of als aanvulling op Quint-workshops en Atam/Cbam. Het voordeel van combineren is dat dan meer kwaliteitsattributen kunnen worden beoordeeld. In eenvoudig toepasbare conjoint analysis kunnen maximaal vijf à zes kwaliteitsattributen worden betrokken.

Snel resultaat
De kosten en doorlooptijd van uitvoering van kasstroomberekening en kwantitatieve risicoanalyse zijn zodanig dat ze alleen voor grotere investeringsbeslissingen zijn te rechtvaardigen. Quint-workshops zijn aanzienlijk sneller. Conjoint analysis vraagt weliswaar een gedegen voorbereiding, maar is snel in de uitvoering. Hergebruik loont en het raadplegen van grote aantallen belanghebbenden ligt binnen bereik.

Shareholder value – stakeholder value
Subjectieve en objectieve methoden worden in combinatie toegepast daar waar rekenwerk onvoldoende uitkomst biedt. Waargenomen waarde en daarvan afgeleide bedragen mogen echter niet in kasstroomberekeningen worden meegenomen; waargenomen waarde fungeert als een subjectieve schatting van de huidige waarde van alle incasseerbare en niet-incasseerbare baten. Netto huidige waarde afgeleid uit kasstroomberekeningen vertegenwoordigt aandeelhouderswaarde (shareholder value). Waargenomen waarde omvat baten die mogelijkerwijze ook door andere belanghebbenden dan aandeelhouders worden genoten. Misschien dat hiervoor het begrip ‘stakeholder value’ op zijn plaats is.

objectief/subjectief - directe attributen - indirecte attributen - niet-tastbare gevolgen - veel kwaliteits-attributen - snel resultaat - shareholder vaue - stakeholder value

kasstroomberekening o + - - + - + -
kwalitatieve risicoanalyse o - + + + + - -
kwantitatieve risicoanalyse o - + - + - - -
kwantitatieve risicoanalyse + kasstroomonderbreking o + + - + - + -
atam/cbam s + + + + - - -
quint workshops s + + + + + - -
conjoint analysis s + + + - + - +
quint + conjoint analysis s + + + + + - +

illustratie: comic house/cliffhanger