Het was op een dinsdagavond in februari 2011 dat mijn testershart een keer oversloeg bij het kijken naar het gerenommeerde NOS Journaal. Ik hoorde het Sacha letterlijk zeggen: Het probleem werd veroorzaakt door het onvoldoende testen van een nieuw ICT-systeem.
Ik schrok geweldig. Jarenlang dacht ik de gehele wereld, en ons mooie Nederland in het bijzonder, een geweldige dienst te bewijzen door al mijn talenten in te zetten als tester. In mijn dromen groeide ik daarbij soms uit tot een grote held. Redder des vaderlands. Behoeder van de kwaliteit van de ICT van onze overheid, de bankwereld en elke andere branche die op mijn pad verscheen. De Hansje Brinker van de ICT…
En nu… plots, zomaar bij een bakje koffie, was ik opeens veroordeeld tot de veróórzaker van alle problemen. Ik was niet eens verdachte, had geen recht op verdediging gehad. Nee, ik was al gebrandmerkt als dader.
Hoe kon het zo ver komen? Nu, ruim twee jaar na dato, durf ik toch de handschoen op te nemen. Ik voer verweer, namens alle testers.
Wat was er aan de hand? Die dinsdag was het de grote dag van de Cito toets. Kinderen stonden op en top gemotiveerd in de startblokken. Mogelijk nog wat extra aangevuurd door zenuwachtige ouders die dit moment zagen als de belangrijkste dag voor de verdere carrière van hun kroost. En precies op dat moment ging het helemaal mis!
Een selecte groep kinderen met leesproblemen mochten de Cito toets auditief doen via een website. Maar zij konden niet inloggen. De site was onbereikbaar. De helpdesk was onbereikbaar. Het Cito was onbereikbaar. De onderwijsinspectie was onbereikbaar. Alleen het NOS Journaal bood nog een luisterend oor en scoorde er een gevoelig nieuws item mee. Zij konden wel het Cito bereiken, waarna een woordvoerder het gewraakte citaat wist te produceren: “Oorzaak? Het onvoldoende testen van een nieuw ICT-systeem.”
Ik ben niet in staat om een volledige analyse te doen. Uit interviews van die dag blijkt dat inloggen de week ervoor wel mogelijk was. Het vermoeden van een niet te verwerken piekbelasting komt naar boven, maar nogmaals: ik weet het niet.
Wat ik wel weet: het probleem kan nooit veroorzaakt zijn door onvoldoende testen! Er zijn allerhande oorzaken te verzinnen. Waren er wel goede performance requirements? Is de inschatting van het aantal gebruikers wel goed geweest? Was er een technisch probleem met de server? Misschien een DDOS aanval op klokslag 9 uur, geïnitieerd vanaf een zolderkamertje van een groep 8 leerling, die onder de mentale druk van zijn ouders was bezweken en zo hoopte te voorkomen dat zou blijken dat hij niet aan de hooggespannen verwachtingen voldeed?
Maar, waarom was het probleem niet gevonden met testen? Had er niet meer getest moeten worden? Ook dat weet ik niet. Het zou kunnen zijn dat het functioneel is getest, maar dat er geen stresstest is uitgevoerd. Misschien ook wel en voldeed het aan de gestelde eisen, maar bleek in de praktijk dat de eisen te laag waren ingeschat? Misschien had de tester het probleem ook wel moeten vinden?
En toch, het testen heeft dit probleem niet veroorzaakt, noch het onvoldoende testen. Als alles goed gemaakt was, zou het zelfs ongetest goed in productie zijn gegaan.
Wat ik wel weet? Dat kwaliteit meer is dan alleen een werkend ICT-systeem. Als de omgeving na constatering van het probleem met de onbereikbare site goed had gereageerd, dan was er hulp geboden. Plan B had ingeschakeld kunnen worden. Het Cito en de Onderwijsinspectie hadden direct actie kunnen ondernemen, op communicatief vlak als ook op het gebied van herstellende en/of alternatieve maatregelen. De schade was dan beperkt gebleven en het item was niet voldoende ellendig geweest voor het 8-uur Journaal.
Hier ligt ook een mooie uitdaging voor het testvak. Het gaat bij vaststellen van kwaliteit en risico inschattingen niet alleen om de onderliggende ICT. Wat is de kwaliteit van het geheel van de bedrijfsprocessen? Is de helpdesk op hoogte? Zijn de gebruikers goed opgeleid? Zijn de werkprocedures helder?
De Pavlov-reactie na grote ICT problemen is dat het testen moet verbeteren. Ik ben een sterk voorstander van het professionaliseren van het testproces, maar toch vraag ik ook zeker aandacht voor het hele voortbrengingsproces van de informatievoorziening en ICT. Want voorkomen is nog altijd beter dan genezen.
