De illusie van het Magic Quadrant.

Geschreven door Eibert Dijkgraaf

Gepubliceerd op 29 april 2016

Blog201604-1

U herkent het vast wel. Tijdens een presentatie of een salesdemo komt daar plots een dia langs met citaten of plaatjes van Gartner, Forrester of een ander wereldwijd gerenommeerd onderzoeksbureau. Dit wordt gedaan om te benadrukken hoe goed het product in de markt ligt. Het effect? Wow, als zij het al zeggen, dan moet het wel waar zijn. Toch?
Laten we even inzoomen op een specifiek rapport: Magic Quadrant for Software Test Automation (december 2015) (www.gartner.com). Het plaatje van het Magic Quadrant is hetgeen wordt getoond in de presentaties. Een mooi overzicht met Challengers – Leaders – Niche Players – Visionaries, uitgezet langs twee assen waarbij wordt gemeten hoe goed de tool is in het uitvoeren van het werk en hoe compleet de visie is achter de tool (veelal op leveranciersniveau).

Het is goed om te beseffen dat Gartner al hele belangrijke uitsluitingen doet voordat ze zelf een dergelijk beeld opstellen. In dit specifieke geval wil ik er graag twee benadrukken:

  • Het adviesrapport richt zich op tooling die goed is (of pretendeert te zijn) in het functioneel testen via de User Interface.
  • Het rapport sluit Open Source tooling uit bij dit onderzoek.

In het specifieke onderzoek van december 2015 wordt bij de selectie o.a. gekeken of de tool het responsive design van web applicaties op het Windows platform ondersteund.
Dergelijke uitsluitingen en specifieke beoordelingscriteria worden in een demo of presentatie vaak niet meegenomen. In de praktijk zien we vervolgens een korte lijn in het besluitvormingsproces. Onder de indruk van de Gartners en Forresters van deze wereld schaft de visionaire leider de ultieme tool aan om zijn innovatieve ideeën zo snel mogelijk te realiseren.
Is dit de meest succesvolle route? Ik waag het te betwijfelen. Heeft u als organisatie daadwerkelijk behoefte aan een tool die een visie heeft op zaken die zich niet voordoen in uw applicatielandschap? Zijn de Use Cases die gebruikt zijn bij het research en evaluatie traject wel vergelijkbaar met uw behoefte aan test automatisering?
Om het maar even heel concreet te maken. Ik zie in werkelijkheid een sterke toename in het gebruik van Open Source tooling. Niet omdat die in eerste instantie altijd even gemakkelijk in het gebruik zijn, maar wel vanwege de vele flexibele mogelijkheden. Daar komt bij dat in de beweging naar steeds meer Agile software ontwikkeling er een steeds grotere behoefte komt aan testautomatisering “onder de motorkap”. Snelheid en onderhoudbaarheid zijn drijvende factoren achter een succesvol testautomatiseringstraject bij kortcyclisch software ontwikkelen. Dit vraagt om een andere teststrategie die zorgt voor èn eerder èn meer testen in kleinere afgebakende eenheden (hoor ik daar het woord “testgevallen”?). Testautomatisering via de GUI komt daarmee op een lager plan te staan dan een aantal jaren geleden, waarbij men wanhopig op zoek ging naar stabiele software om de testautomatisering toch een succes te laten worden.
Zijn de rapporten van Gartner, Forrester etc daarmee nutteloos? Verre van dat. Het geeft een goed beeld van de markt en de ontwikkelingen. Wees wel alert op wat ontbreekt. Een Magic Quadrant is niet bedoeld als direct advies welke tool het meest succesvol is in uw specifieke situatie. Ook Gartner zelf geeft dergelijke overwegingen mee in hun onderzoek. Maar ja, die komen pas na pagina 20 en doen het visueel niet goed. Dus welke pre-sales is daar nog in geïnteresseerd?
Ten slotte, bovenstaande zijn mijn gedachten. Een Magic Quadrant geeft niet de hele waarheid te zien. En daarmee wordt het een illusie. U hoeft het natuurlijk niet met mij eens te zijn. Maar mijn mening wordt toevallig wel ondersteund door Gartner (en dan moet het wel waar zijn, toch?). Want Gartner noemt hun eigen quadranten magisch. Voor mij is dit het ultieme bewijs dat het een illusie is.

Reacties

Joost Voskuil op 29 april 2016, 18:09

Hey Eibert,
Mooie blog. Ik was al enkele maanden geleden afgehaakt bij Gartners’ Magic Quadrants. Het lijkt mij ook dat het marktaandeel van HP groot is vanwege de (al bestaande) licentieovereenkomsten. Laat HP nu eerst maar eens wat doen aan de stabiliteit van hun nieuwe product ‘Lean FT’. Overigens, zit Selenium – open source – daar niet ingebakken? Heel erg veel visie hoor 😉
Jammer dat dit soort onderzoeken, zeker van een ‘gerenommeerde’ onderneming als Gartner rondzweven. Nog steeds moet er veel verdedigd worden qua stellingname in check automation dat testers nog steeds nodig zijn en dat het niet per se goedkoper is. Dit soort onderzoeken helpen nog steeds niet om het management een correct beeld te geven qua check automation.
Ik laat iig Gartners’ Magic Quadrants lekker naast mij liggen. En Eibert, je laat je toch niet kennen? Die magische kwadranten bestaan echt wel, blijven zoeken of maak ze zelf! Want uiteindelijk is het de context die de magic quadrants bepaald 😉

Reageren

Thomas Som op 30 april 2016, 09:32

Leuke blog Eibert! Wellicht is niet het Magic Quadrant een illusie en kan de inhoud zelfs waardevol zijn en een reële weergave van de werkelijkheid. Het zou mij verbazen als organisaties als Gartner illusies willen publiceren. De illusie zit deels in de context setting en presentatie, bewust of onbewust, en in de perceptie van het publiek. Dat laatste is waar het woord illusie eigenlijk van toepassing is, onjuist, of in dit geval incompleet van de werkelijkheid. De zender en de ontvanger hebben hierin een verantwoordelijkheid. Goede tips! Dank je!

Reageren

Schrijf een reactie

Gerelateerde artikelen