Uitbesteden van testen groot risico

Pas tijdens het testproces kan de vertaling worden gemaakt naar de benodigde dekkingsgraad en dus ook de inspanning. Welke dekkingsgraad koop je en tegen welke prijs? Als je in de supermarkt een kilo suiker koopt, heb je grote kans ongeveer duizend gram te krijgen, bij het testen wordt het aantal grammen pas tijdens het proces bepaald. En waar reken je op af? Op het aantal uren? Op het aantal testgevallen? Op het aantal gevonden fouten? Op het aantal niet gevonden fouten?
Uitbesteden van testen vraagt professionaliteit, volwassen (test)processen bij zowel de uitbestedende organisatie als bij de leverancier. Bij een onvoldoende ingericht testproces is het zeer moeilijk, zo niet onmogelijk, het testen succesvol uit te besteden. Zo verwordt ‘agile development’ vaak tot ‘radical, quick and dirty ontwikkeling’ waardoor de kwaliteitsrisico’s pas achteraf, en dus te laat, kunnen worden vastgesteld. Een potentiële bottleneck bij het uitbesteden van testen is de beschikbaarheid van materiekennis. Vaak zijn het de systeembeheerders en eindgebruikers van de uitbestedende organisatie die de meeste kennis van zaken hebben. Afhankelijk van de branche en het type outsourcing kan (wettelijk) vereiste functiescheiding aandacht vragen. Is het toegestaan ontwikkeling en testen aan één partij uit te besteden en is privacy gegarandeerd?

Regie
In de praktijk wordt de uitbesteding van het testen meestal niet door de testorganisatie in gang gezet maar geïnitieerd op basis van beleidsvoornemens op bedrijfsniveau en opgelegd aan de testorgansiatie. De taak voor het betrokken testmanagement is dan ervoor te zorgen dat de beslissers tijdig geïnformeerd worden over testspecifieke aspecten. Daarbij dienen verschillende fundamentele voorbereidingsstappen geheel of gedeeltelijk doorlopen te worden, afgerond met het inrichten van een passende regiefunctie bij welke vorm van testoutsourcing dan ook.
Om goed te kunnen bepalen wat wel en wat niet voor outsourcing in aanmerking komt en om het welslagen van het uitbesteden te kunnen meten, moeten de vaak wat wollig gedefinieerde doelstellingen vertaald worden in zoveel mogelijk kwantitatieve doelen: Hoeveel euro besparen? Hoeveel fte’s offshore? Hoeveel doorlooptijd beperken? Hoeveel leegloop voorkomen? In hoeveel capaciteitstekort is voorzien? Wanneer dit soort doelen bij de voorbereiding boven tafel komen, snijdt het mes al vroeg aan twee kanten.
De potentieel uit te besteden testactiviteiten kunnen gewaardeerd worden op overdraagbaarheid, testinfrastructuur, impact op going-concern (lopende bedrijfsactiviteiten), organisatorische aspecten en testvolwassenheid. Ook de mate waarin wordt bijgedragen aan de doelstellingen is bepalend voor wat wordt uitbesteed en in welke volgorde. Als er testactiviteiten achterblijven beperkt dat de mogelijke kostenbesparing maar het heeft wel een voordeel: het terugnemen van het uitbestede testwerk (‘backsourcing’) kan relatief gemakkelijk plaatvinden. Wat er achterblijft is sowieso een belangrijke vraag. Hoe wordt de regievoering georganiseerd, waar blijft het huidige personeel, wie beheert de testomgevingen en de testdata? Het komt ook voor dat de regievoering, inclusief de kwaliteitsborging, uitbesteed wordt aan een derde gespecialiseerde partij.

Eisen
Aan potentiële leveranciers is een aantal voor het testen specifieke eisen te stellen, zoals ruime ervaring in de testdienstverlening, maar zeker ook aanwezige testexpertise in de betreffende materie en de benodigde technische know-how van de relevante infrastructuur. Met de leverancier moet er verder een ‘match’ zijn, ook op het gebied van de wat zachtere aspecten als openheid en flexibiliteit. De wil om er gezamenlijk iets moois van te maken is onontbeerlijk want alles in detail in contracten vastleggen is onmogelijk. In dit kader wordt aanbevolen al voor het sluiten van het ‘huwelijk’ aan de eventuele ‘scheiding’ te denken, want een outsourcingshuwelijk sluit je niet af voor het leven.
Bij het selecteren van een offshoreleverancier moet met een aantal bijzondere (culturele) aspecten rekening worden gehouden. Het inschakelen van een ervaren Nederlandse partner die de extra zorgen wegneemt, is een reële alternatieve optie. Het potentiële kostenvoordeel van offshoring wordt trouwens behoorlijk afgeroomd door de omvang van extra communicatie die nodig is voor het overbruggen van de afstand in tijd, plaats, cultuur, taal, kennis et cetera. Hierdoor blijft er vaak niet veel meer over van de winst door de lage uurtarieven van bijvoorbeeld 12 euro per uur voor een testengineer in India.
Bij het opstellen van contracten zullen tal van aspecten aan de orde komen, bijvoorbeeld het niveau van dienstverlening (SLA), contractduur, aansprakelijkheden, privacy (India heeft nog geen privacywetgeving), prijs en een groot aantal testspecifieke zaken. Het zal duidelijk zijn dat het opstellen van contracten het werk is voor ervaren inkopers en vooral juristen. Echter, nauwe samenwerking met deskundigen op het gebied van testen is noodzakelijk. Het opstellen van een service level agreement (SLA) voor de te verlenen testdiensten is namelijk erg lastig. Hoe kwalificeer en kwantificeer je de te leveren testprestatie en het prijskaartje dat daaraan mag hangen? Voor het maken van afspraken over de dienstverlening, de verantwoordelijkheden en de monitoring zijn goede ervaringen met het toepassen van de structuur van een mastertestplan in de ‘SLA’. In een mastertestplan komen immers alle voor testen relevante onderwerpen aan de orde.

Pilots
Tijdens de implementatiefase worden de afspraken die gemaakt zijn in het contract en het mastertestplan geëffectueerd. Kennis, testdocumentatie en eventueel testomgevingen, testdata en tools worden overgedragen. Bij offshoring is het tijdelijk inleren van leveranciermedewerkers op de Nederlandse werkvloer algemeen toegepast. In de meeste gevallen is er ook sprake van organisatorische veranderingen (functies vervallen of worden toegevoegd) en moeten er procedures en werkwijzen worden aangepast.
Geleidelijke effectuering is sterk aan te bevelen, mogelijk door middel van een of meer pilots. Tijdens deze periode kunnen afgesproken procedures worden beproefd en kunnen de communicatie en de monitoring worden ingeregeld.
Een strakke regie van de uitbestedende organisatie op het uitbestede testproces biedt een goede governance aan de betrokken partijen. Enerzijds vervult de regie een brugfunctie tussen de uitbestedende organisatie en de leveranciersorganisatie ter ondersteuning van het effectueren van de overeengekomen afspraken. Anderzijds gaat de regiefunctie over het monitoren van het uitbestede werk. De monitoring levert essentiële gegevens op over de testvoortgang en de kwaliteit van het testobject en ook de kwaliteit van de testwerkzaamheden. Via het regiedashboard, dat wordt samengesteld uit die gegevens, levert de leverancier ‘bewijs van goed testen’ aan de uitbestedende organisatie. Voor de testregiefunctie zijn inmiddels doeltreffende tools beschikbaar.

Martin Pol (martin.pol@polteq.com) adviseert bedrijven bij het outsourcen van testen. Hij is werkzaam bij POLTEQ International Testing Services BV.

Taal
Veel outsourcingsactiviteiten worden door de taal bemoeilijkt. De Nederlandse multinationals gebruiken vanouds de Engelse taal in de ICT-hoek of zijn daar in de laatste jaren toe overgegaan. Veel outsourcingsactiviteiten in andere organisaties worden door de taal geblokkeerd. Pogingen waarbij de specificaties in bijvoorbeeld het Engels werden vertaald, boden, zeker voor het testen, geen soelaas. Voor de gebruikers en dus ook voor de testers moet de software Nederlands ‘spreken’, maar ‘Tik uw kenteken in’ snapt geen Indiër of Roemeen. Nederlandse testdienstverleners zijn nadrukkelijk bezig hiervoor oplossingen aan te bieden door lokaal zogenaamde ‘test factories’ in te richten of resultaatverplichtende ‘insourcing’ aan te bieden. Inmiddels is aangetoond dat lokale aanbieders qua kosten en zeker qua kwaliteit kunnen concurreren met bijvoorbeeld India.

Personeels-
beleid
De uitbestedende organisatie moet zorgvuldig omgaan met personele zaken. Wat gaat er gebeuren met het eigen personeel? Zijn de medewerkers onderdeel van de deal? Wie blijft? Wie gaat mee? Welk carrièreperspectief blijft over? Zijn er afvloeiingsregelingen? Welke rol heeft de OR?
Het allerbelangrijkste middel in dit kader is communicatie. De onzekerheden en verwachtingen die ontstaan onder het personeel moeten op de juiste manier gemanaged worden, ook in het licht van de continuïteit van de going-concernactiviteiten. Het is moeilijk werken met onzeker en/of ongemotiveerd personeel. Presentaties, periodieke briefings, bezoeken aan de leverancier, personeelsgesprekken, opleidingen, er zijn tal van manieren om te communiceren en zo de drempels te verlagen en de betrokkenen te wijzen op nieuw carrièreperspectieven. Bij transitie van testactiviteiten moeten de afspraken (zeker voor het testen) zich niet beperken tot de ICT-afdeling en de leverancier. In organisaties voeren vaak verschillende disciplines allerlei testactiviteiten uit. Een valkuil is bijvoorbeeld systeembeheerders en gebruikersvertegenwoordigers er niet bij te betrekken. Je kunt (een gedeelte van) hun werk niet zomaar ‘wegsaneren’.

Acceptatie
Als de ontwikkeling is uitbesteed op het niveau van het leveren van een ‘product’ moet het testen per definitie onderdeel uitmaken van de ontwikkeling van het product. Door middel van monitoring en (beperkte) acceptatietests beoordeelt de uitbestedende organisatie het door de leverancier geleverde product.
Als testoutsourcing wordt gevraagd op het niveau van ‘diensten’ dan moeten de voor uitbesteding in aanmerking komende testactiviteiten precies in kaart worden gebracht: welke activiteiten worden uitbesteed, zoals bijvoorbeeld alleen de systeemtests of alle performancetests.