U herkent het vast wel. Tijdens een presentatie of een salesdemo komt daar plots een dia langs met citaten of plaatjes van Gartner, Forrester of een ander wereldwijd gerenommeerd onderzoeksbureau. Dit wordt gedaan om te benadrukken hoe goed het product in de markt ligt. Het effect? Wow, als zij het al zeggen, dan moet het wel waar zijn. Toch? Laten we even inzoomen op een specifiek rapport: Magic Quadrant for Software Test Automation (december 2015) (www.gartner.com). Het plaatje van het Magic Quadrant is hetgeen wordt getoond in de presentaties. Een mooi overzicht met Challengers – Leaders – Niche Players – Visionaries, uitgezet langs twee assen waarbij wordt gemeten hoe goed de tool is in het uitvoeren van het werk en hoe compleet de visie is achter de tool (veelal op leveranciersniveau).
Het is goed om te beseffen dat Gartner al hele belangrijke uitsluitingen doet voordat ze zelf een dergelijk beeld opstellen. In dit specifieke geval wil ik er graag twee benadrukken:
- Het adviesrapport richt zich op tooling die goed is (of pretendeert te zijn) in het functioneel testen via de User Interface.
- Het rapport sluit Open Source tooling uit bij dit onderzoek.
In het specifieke onderzoek van december 2015 wordt bij de selectie o.a. gekeken of de tool het responsive design van web applicaties op het Windows platform ondersteund. Dergelijke uitsluitingen en specifieke beoordelingscriteria worden in een demo of presentatie vaak niet meegenomen. In de praktijk zien we vervolgens een korte lijn in het besluitvormingsproces. Onder de indruk van de Gartners en Forresters van deze wereld schaft de visionaire leider de ultieme tool aan om zijn innovatieve ideeën zo snel mogelijk te realiseren.
Is dit de meest succesvolle route? Ik waag het te betwijfelen. Heeft u als organisatie daadwerkelijk behoefte aan een tool die een visie heeft op zaken die zich niet voordoen in uw applicatielandschap? Zijn de Use Cases die gebruikt zijn bij het research en evaluatie traject wel vergelijkbaar met uw behoefte aan test automatisering? Om het maar even heel concreet te maken. Ik zie in werkelijkheid een sterke toename in het gebruik van Open Source tooling. Niet omdat die in eerste instantie altijd even gemakkelijk in het gebruik zijn, maar wel vanwege de vele flexibele mogelijkheden. Daar komt bij dat in de beweging naar steeds meer Agile software ontwikkeling er een steeds grotere behoefte komt aan testautomatisering “onder de motorkap”. Snelheid en onderhoudbaarheid zijn drijvende factoren achter een succesvol testautomatiseringstraject bij kortcyclisch software ontwikkelen. Dit vraagt om een andere teststrategie die zorgt voor èn eerder èn meer testen in kleinere afgebakende eenheden (hoor ik daar het woord “testgevallen”?). Testautomatisering via de GUI komt daarmee op een lager plan te staan dan een aantal jaren geleden, waarbij men wanhopig op zoek ging naar stabiele software om de testautomatisering toch een succes te laten worden. Zijn de rapporten van Gartner, Forrester etc daarmee nutteloos? Verre van dat. Het geeft een goed beeld van de markt en de ontwikkelingen. Wees wel alert op wat ontbreekt. Een Magic Quadrant is niet bedoeld als direct advies welke tool het meest succesvol is in uw specifieke situatie. Ook Gartner zelf geeft dergelijke overwegingen mee in hun onderzoek. Maar ja, die komen pas na pagina 20 en doen het visueel niet goed. Dus welke pre-sales is daar nog in geïnteresseerd? Ten slotte, bovenstaande zijn mijn gedachten. Een Magic Quadrant geeft niet de hele waarheid te zien. En daarmee wordt het een illusie. U hoeft het natuurlijk niet met mij eens te zijn. Maar mijn mening wordt toevallig wel ondersteund door Gartner (en dan moet het wel waar zijn, toch?). Want Gartner noemt hun eigen quadranten magisch. Voor mij is dit het ultieme bewijs dat het een illusie is.
