’Bestrijd de saaiheid van het testen’

Maar testen raakt in de verdruking, zo klaagden sprekers van CMG onlangs op een eigen seminar over het onderwerp. Niet dat bedrijven pas over het testen gaan nadenken als hun systemen klaar zijn, maar de steeds vaker gestelde eis van een snelle ’time-to-market’ biedt nu eenmaal weinig ruimte voor het uitvoerig zoeken naar eventuele gebreken. „Met die druk moeten we maar leren leven”, vindt Hans Buwalda, projectdirecteur bij het TestFrame Research Center van CMG. Maar de liefdeloze behandeling die het testen krijgt en het stempel van saaiheid dat het meekrijgt, daar is wel wat aan te doen, vindt hij. De uitdaging voor testers is het vinden van een manier om verantwoorde tests uit te voeren in een korte tijd en daar is hij niet pessimistisch over. „De periode die er voor het uitvoeren van testen beschikbaar is wordt steeds korter. Dus hoe meer je van die testen naar voren kunt halen en hoe meer je van die testuitvoering kunt automatiseren, hoe sneller je die test ook uit kunt gaan voeren.” Flexibiliteit Buwalda is de afgelopen jaren betrokken geweest bij de ontwikkeling van TestFrame, een CMG-methode voor het structureren en beheren van het testproces. Daarbij zijn de ontwikkeling van testen en de uitvoering ervan duidelijk gescheiden taken. „De testuitvoering moet meestal aan het eind van het project worden gedaan en dan blijkt dat er niet genoeg tijd meer voor is. Je kunt niet een jaar lang een systeem ontwikkelen en het dan vervolgens een jaar lang testen; zo werkt het niet. Dat betekent dat je bij het testen per definitie flexibel moet zijn. Dus vroeg beginnen met het ontwikkelen van de tests en de uitvoering zoveel mogelijk automatiseren. De periode dat je onder druk staat, moet zo kort mogelijk zijn.” Een recent onderzoek door Blauw Research wijst uit dat de meeste bedrijven in Nederland zichzelf redelijk beoordelen als het om het testen van hun systemen gaat. Iets meer dan de helft meent dat het testen de afgelopen twee jaar effectiever is geworden. Wel is liefst 62 procent van de respondenten bezig zijn testactiviteiten doelmatiger te maken door het testproces te automatiseren, beter te integreren met de systeemontwikkeling en te verankeren in de organisatie. Buwalda onderschrijft het belang van meer parallellen tussen systeemontwikkeling en testen. Beide moeten – eigenlijk – even goed gepland worden. In de testwereld hanteert men daarvoor het V-model; stapsgewijs komen applicatie en test samen in de testuitvoering. Die handelwijze is belangrijk, vindt Buwalda, maar hij heeft ook bedenkingen. „Dat V-model heeft als idee duidelijk zijn meerwaarde, maar als je het te strikt toepast, via de moduletest en de acceptatietest, heb je de kans dat je tegen allerlei onnodige hindernissen aanloopt. Dan moet je dus wat meer flexibiliteit nastreven. Wat je vaak ziet met dit soort modellen is dat ze verabsoluteerd worden. In de VS komt zo’n model zelfs in een contract en dan valt er niet meer aan te tornen.” Binnen TestFrame-verband maakt Buwalda zich sterk voor het clusteren van testproblemen. Zo’n cluster bestaat uit een set verwante opdrachten aan het systeem en de verwachte resultaten van die opdrachten. Het geautomatiseerde deel van TestFrame, een stuk software dat scripts uitvoert, kan die clusters vervolgens afzonderlijk en dus flexibeler verwerken. Voor het automatisch uitvoeren van de tests gebruikt CMG gewoon standaard testgereedschappen, zoals die van Mercury, Rational en Compuware. Over de vraag hoeveel procent van de testactiviteiten eigenlijk te automatiseren zijn, lopen de meningen uiteen. Buwalda: „Als je puur kijkt naar de functionele tests, moet je op hele hoge percentages kunnen komen. Ik denk zelf aan 80 procent of meer.” Trends Standaard-softwarepakketten hebben in veel gevallen de plaats ingenomen van maatwerk. „Dat betekent niet dat het testen er eenvoudiger op wordt”, zegt Buwalda. „Het hangt erg van de situatie af. Als je meer dan 20 procent van het systeem aanpast, ben je wat het testen betreft even ver van huis als bij volledig maatwerk.” Wel ziet Buwalda een duidelijke verschuiving in het soort fouten dat bij het testen wordt opgespoord. „Het gaat meer in de richting van het load-testen, vooral in de Web-omgeving. Dan haal je knelpunten naar boven. Verder zijn het meer fouten die boven komen omdat er iets mis is gegaan in de specificaties. Mensen maken nog steeds fouten; systemen worden wel steeds complexer. Er zijn ook meer componenten die met andere componenten moeten praten. Dan neemt de foutenkans bijna kwadratisch toe.” „De test-wetenschappers zitten niet stil”, legt Buwalda op het test-seminar uit. „Een aardig voorbeeld zijn de ’test monkeys’, kleine programmaatjes die zich als een soort apen gedragen door een systeem op allerlei onverwachte manieren op de proef te stellen. Vooral Microsoft bedient zich van deze relatief goedkope testmethode.” Op de tijdens het test-seminar gestelde vraag wie weet wat het testen in zijn bedrijf eigenlijk kost, steekt maar één persoon in de goed gevulde zaal zijn hand op. „Als je dat aan de gemiddelde organisatie vraagt, zal men dat meestal niet direct paraat hebben. Maar ik vraag zelf liever wat het zou mógen kosten”, zegt Hans Buwalda. „En het rendement is nog veel moeilijker aan te geven.” Het verdelen van het testwerk in clusters maakt het volgens Buwalda weer wel makkelijker kosten/baten-analyses te maken en beslissingen te nemen. In april vestigt Buwalda zich in Silicon Valley als zelfstandig consultant, maar hij zal wel een voorpost blijven van CMG en zijn testmethodiek. „Ik heb een beetje pioniersbloed. En er is veel aandacht voor de aanpak in Amerika.”