Het zal niemand ontgaan zijn: Sinterklaas is weer in Nederland. Zaterdag 18 november legde de stoomboot aan in Gorinchem en kwam de Sint, gezeten op zijn schimmel Ozosnel, aan wal. Uiteraard krijgt Sinterklaas de komende tijd de broodnodige hulp van zijn Pieten, bij het vullen van de schoenen en, op 5 december, het verdelen van de cadeaus onder de kinderen van Nederland en België. Op het Sinterklaasjournaal wordt dagelijks verslag gedaan van de beslommeringen van de Goedheiligman en zijn Pieten-collega’s.
Dat alles niet altijd even gestroomlijnd verloopt, dat konden we vorig jaar tot onze schrik van dag tot dag volgen in datzelfde Sinterklaasjournaal. Volgens het kinderprogramma zou de verdeling van de cadeautjes dat jaar volledig geautomatiseerd gebeuren. Een Piet kon met een scanner een grote zak cadeautjes scannen, om te kijken of alle cadeautjes erin zaten. Uit het Sinterklaasjournaal bleek dat de scanner meerdere keren een rood signaal gaf. Blijkbaar betekende dit dat er iets mis was met de tas. Er was geen duidelijke foutmelding, Piet wist alleen dat het cadeautje van een of ander kind niet in de tas zat. Op andere momenten gaf de scanner een groen signaal, maar er werd vermeld dat het kind niet meer op het adres woonde dat in de computer stond. Chaos overal, want het leek erop dat gegevens niet klopten, cadeautjes ontbraken in tassen, en er geen indicatie was of ze nog ingepakt moesten worden of al ingepakt waren, maar in een verkeerde tas terecht waren gekomen. De Pieten konden alleen de naam van een kind scannen en moesten vervolgens elke tas scannen om te zien of het die van dat kind was.
Bij mij gingen er meteen alarmbellen rinkelen!… Sinterklaas had vroeger een groot boek met de gegevens van alle kinderen in Nederland erin. Is de datamigratie van het boek naar het systeem misgegaan? Waarom hebben de kinderen hun nieuwe adres niet doorgegeven toen ze het afgelopen jaar verhuisden? Of nog erger: heeft iemand het systeem gehackt en de adressen gewijzigd? Ik dacht aan AVG; zou Sinterklaas problemen krijgen met de wet vanwege slechte security en privacy?
Als Piet een tas scant, kan hij alleen zien of er een cadeautje voor een bepaald kind in de tas zit. Het zou logischer zijn om te scannen en te zien wiens cadeautjes in de tas zitten en wiens cadeautjes ontbreken. Is er iets misgegaan in de fase van de requirementsanalyse?
Het kinderprogramma probeerde Sinterklaas te helpen door de kinderen te vragen hun adres op de website van de tv-zender te controleren. Diezelfde avond ging de website uit de lucht vanwege de enorme stroom bezoekers. Blijkbaar heeft niemand aan een load test op de website gedacht en voorzorgsmaatregelen genomen. Met het activeren van een extra server wanneer het aantal bezoekers de limiet bereikte, had de omroep kunnen voorkomen dat de website uit de lucht ging.
Wat Sinterklaas blijkbaar mist, is een goede quality consultant! Ik zou graag met hem in contact komen. De belangrijkste eis van de klant, Sinterklaas, was een snelle, gemakkelijke en foutloze afhandeling van de cadeautjes. Wat hij echter krijgt is een systeem dat lastig te gebruiken is, niet voldoet aan zijn doel en onduidelijke foutmeldingen geeft. Kennelijk hebben Sinterklaas en zijn Pieten de functionele eisen niet voldoende gedetailleerd gespecificeerd. Een quality consultant had de specificaties kunnen beoordelen en had indien nodig om nadere detaillering gevraagd. En ja, in dit geval was dat nodig.
Maar het zijn niet alleen de functionele eisen die tekortschieten. Zoals we zagen, hadden ook de non-functionals meer aandacht nodig. Dit pakjessysteem heeft invloed op de levens van miljoenen kinderen, dus een quality consultant zou een grondige productrisicoanalyse hebben georganiseerd met de belangrijkste stakeholders. Immers: de risico’s die al vóór de bouw van het systeem kunnen worden geïdentificeerd, kunnen tijdig worden aangepakt en zullen niet meer resulteren in issues die pas na de oplevering blijken. Echter: in dit geval is de usibility onder verwachting, de data-integriteit is een echt probleem, er wordt blijkbaar geen rekening gehouden met privacy, de performance is onvoldoende, en dat zijn slechts de voor de hand liggende problemen.
Als quality consultant zou ik vragen stellen over de aanpak van het ontwikkelproces. Blijkbaar waren de gebruikers van het systeem, Sinterklaas en zijn Pieten, onaangenaam verrast toen ze de scanners gingen gebruiken. Zijn zij niet betrokken geweest bij de ontwikkeling van het systeem? Is de scanapplicatie ‘over het muurtje gegooid’? Een agile, cyclische aanpak van de systeemontwikkeling, met regelmatige input en feedback van gebruikers, had veel van de problemen kunnen voorkomen die nu pas na de go-live aan het licht komen.
Bovendien zou een quality consultant een grondige testfase hebben uitgevoerd. Zo te zien hebben Sinterklaas en zijn Pieten vóór de livegang geen gebruikersacceptatietest uitgevoerd. En kijk wat er gebeurt: de scanners produceren false positives en false negatives. Eén van de risico’s die daarnaast tijdens de productrisicoanalyse naar voren had moeten komen, is de beschikbaarheid van het systeem. Dat vereist een stevige load- en stresstest. In plaats daarvan zat Sinterklaas nu met een server die uitviel, en geen back-up- en herstelmogelijkheden. En als de scanners wél werken, zijn de gegevens niet eenduidig en soms ronduit onjuist. Kom op jongens, een datamigratietest had in deze situaties een standaardaanpak moeten zijn!
En last but zeker not least had een quality consultant graag geholpen met het go live-plan. Op welk moment moet het scannersysteem live gaan? Vlak voor het grootste kinderfeest van het jaar? Een go-live eerder dit jaar en een try-out met een kleine groep kinderen kunnen misschien dezelfde problemen aan het licht brengen, maar met een veel kleinere impact. En welke go-live tests hadden er gedaan moeten worden om voldoende zekerheid te hebben dat het systeem naar verwachting werkt? Ook daarin had ik als quality consultant graag een advies uitgebracht. Go-live is meer dan alleen de knop omzetten…
Het Sinterklaasfeest is al een eeuwenoude kindertraditie. Tradities worden van generatie op generatie doorgegeven; Sinterklaas en zijn Pieten zijn verankerd in onze cultuur. Ik hoop wél dat Sinterklaas dit jaar heeft geleerd van de mislukte introductie van het scannersysteem, en dat de Pieten de distributie van de cadeautjes nu wel goed op orde hebben. Aan de andere kant van de oceaan lijkt de Kerstman heel efficiënt te werken, en als de tradities tóch veranderen, zou Sinterklaas wel eens een geduchte concurrent kunnen krijgen…
Nieuwsgierig geworden en wil je meer weten over testen? Neem dan contact op met Praegus – 085-1305977 / info@praegus.nl of kijk op www.praegus.nl
