Metrics horror stories

Meten is weten, you can’t manage what you can’t measure. Twee bekende uitspraken die het gebruik van metingen in management populair hebben gemaakt.

En er zit ook wel wat in. Als je een brug bouwt wil je graag precies weten hoever beide oevers van elkaar liggen. Metingen zijn noodzakelijk. Toch heb ik een haat-liefde verhouding met metingen. Want ik zie het zo vaak misgaan. In de loop der jaren heb ik nogal wat misbruik van metingen gezien, en een aantal daarvan zet ik in deze blog op een rijtje, ‘ter leringh ende vermaeck’.

De rattenvangers. Om de productiviteit van rattenvangers te verbeteren werd besloten ze een SMART target ze te geven en te belonen voor het aantal gevangen muskusratten. Een nobel streven, die ratten zijn zeer gevaarlijk voor onze dijken. Maar rattenvangers zijn slimmer dan een SMART target. Als ze een zwanger vrouwtje zien lopen laten ze haar gaan. Want nu levert ze maar 1 punt op en straks als ze bevallen is een boel meer!

De target wordt elk jaar gehaald, maar het aantal ratten neemt nog steeds toe.

We willen niet dat patiënten overlijden op de operatietafel. Je gaat ten slotte naar het ziekenhuis om beter te worden. Dus onze beleidsmakers probeerden de artsen te motiveren met een target. Maximaal zoveel promille van de mensen mogen overlijden tijdens de operatie. Weer een mooi metertje op het dashboard voor de ziekenhuis-benchmark.

Helaas is het gevolg niet dat onze gezondheidszorg beter wordt. Om de target te halen worden patiënten die heel erg ziek zijn gewoon niet meer geopereerd. Gaan ze wel dood, maar niet tijdens de operatie…. Mooi gevalletje van operatie geslaagd, patiënt overleden.

In mijn vak, software ontwikkeling, is het CMMI model beroemd en berucht. Op zich is CMMI een nuttig model dat best practices voor software engineering op een rijtje zet zodat je jezelf kritisch kan toetsen tegen deze standaard. Helaas is het CMMI een Maturity Model, zijn de best practices ingedeeld in vijf volwassenheidsniveaus. Het gevolg is dat managers dan erg snel tot simpele doelstellingen komen, Maturity Level 2 in 2012, Level 3 in 2013.

Gevolg, degenen die deze target krijgen opgelegd gaan op zoek naar de gemakkelijkste manier om het level te bereiken. Vaak levert dat allerlei processen op die een bijna letterlijke kopie zijn van de best practices uit het model maar niet of nauwelijks aansluiten bij de organisatie van de software ontwikkelingsafdeling. Combineer dat met een assessmentprocedure waarbij de organisatie die het level wil behalen de assessor betaalt, en je kan erop rekenen dat dit soort verwrongen processen toch nog een beloning oplevert. Het management krijgt z’n bonus, de ontwikkelaars zitten met de gebakken peren.

Software ontwikkelaars moeten hoge kwaliteit software opleveren. Dat spreekt voor zich. Echter, kwaliteit valt niet echt meetbaar te maken. Maar er kunnen wel allerlei benaderingen van kwaliteit gemaakt worden. De meest bekende benadering isfoutdichtheid of fault density. Het aantal gevonden fouten per 1000 regels code (of per functiepunt, of iets dergelijks). Op zich weer een prima poging. Fault density dekt zeker niet alles af van kwaliteit (gebruikersvriendelijkheid valt er niet of nauwelijks onder), maar is er wel een belangrijk onderdeel van.

Echter, zodra fault density een target wordt, worden mensen erg creatief. Hoe vaak ik al niet diverse fouten samengepakt heb gezien in één foutrapport kan ik me niet meer herinneren. Erg goed voor de fault density, maar erg slecht voor het systematisch oplossen van fouten en dus erg slecht voor de kwaliteit van het product.

Even een intermezzo om hier wat abstracter naar te kijken.

1. What gets measured gets done is een beroemde management uitspraak. Helaas is what gets measured gets manipulated dichter bij de waarheid.

2. De uitspraak you can’t manage what you can’t measure komt van Tom DeMarco een van de guru’s in software ontwikkeling. Recent schreef hij een kort artikel in IEEE software (July/Augustus 2009) waarin hij deze uitspraak terugnam. Tom kijkt terug op zijn boek Controlling Software Projects: Management, Measurement, and Estimation en vraagt zich dan af “was its advice correct at the time, is it still relevant, and do I still believe that metrics are a must for any successful software development effort?” Zijn antwoorden: no, no and no.

Indrukwekkend dat iemand zo eerlijk durft te zijn. Jammer dat dit artikel veel minder gelezen is dan dat boek uit 1982.

De vertraging van de NS is ook een beroemd voorbeeld. Onze regering wil dat de NS beter op tijd rijdt (en willen wij dat niet allemaal?) en, als je wilt dat iets gebeurt dan verzin je een target en een bonus/malus programma. Zo krijgt de NS minpuntjes voor elke trein die meer dan (ik meen) 5 minuten te laat komt. Gevolg: de NS neemt zo mogelijk treinen uit de dienstregeling die al een behoorlijke vertraging hebben. Tellen alle volgende stations niet meer mee in de statistiek. Goed voor de bonus, jammer voor de reiziger.

De bonnenquota van de politie hoef ik hier verder niet te beschrijven, die kent iedereen al.

Dit is mijn lijstje van horror stories. Wie helpt me de lijst aanvullen?

En, André, ouwe azijnpisser, wat is je alternatief? Oeps, als het moeilijk wordt helpt alleen nog de vertragingstactiek: dat komt in een volgende blog.

 

Dit bericht is geplaatst in Uncategorized. Bookmark de permalink.

7 reacties op Metrics horror stories

  1. BenLinders schreef:

    Ben het helemaal met je eens, er gaat een hoop mis met metrics! Maar inderdaad, wat dan wel? Zijn er ook goede metingen? Ik ken er enkele:

    1) Meten van de kwaliteit door het aantal fouten van klanten wat in de eerste 6 maanden na release gevonden wordt. Is veel minder te manipuleren, en ook de discussie “wel of geen fout” kun je plat slaan: Als een productmanager wil dat er een patch komt, dan was het een fout, wil ie dat niet dan is het blijkbaar geen serieus probleem. Als 1 oplossing meerdere fouten oplost dan is het 1 fout (vgl fout-failure).

    2) Meten van het aantal audits, assessments, root cause analysis, retrospective sessies per maand (lopend gemiddelde), en het aantal acties wat uit die sessies komt en het aantal acties wat afgerond is. Kun je prima rapporteren op een Balanced Scorecard. Ok je hebt grote en kleine acties, maar dat middelt uit en de trend zegt zeker wat. Als het aantal openstaande acties oploopt, dan maar even niet auditen/RCA maar je energie steken in acties oplossen. Als er bijna geen acties meer staan, en de trend van audits/RCA/Assessments etc gaat ook omlaag dan ligt er een tijdbom, men wil blijkbaar niet meer weten hoe het gaat en ook niet verbeteren?

    3) Coverage van CMMI procesgebieden per project. Iedere procesverantwoordelijke doet regelmatig een mini-assessment van de implementatie van “zijn/haar” processen in een project. Als een project diverse procesgebieden op rood heeft, dan volgt overleg om te kijken welke veranderingen mogelijk zijn, en hoe ze geïmplementeerd kunnen worden.

    De truc in het meten is niet de meting zelf, maar de analyse en de actie die eruit volgt. Als dat proces goed gedaan wordt, dan kunnen metingen heel effectief zijn. Vgl de eerste meting, als je mbv een foutmodel een schatting doet van de klantfouten voordat het product gereleased wordt, en dat is hoger dan vorige releases, dan is het tijd voor actie. Je kunt dan met een productmanager afspreken dat je bv. meer (of betere bv focused) reviews gaat doen, en daarmee meer fouten gaat vinden voor release. Kun je een hele mooie business case voor maken.

    Wie heeft er nog meer slechte maar ook goede ervaringen met metrics?

    • andreheijstek schreef:

      Hoi Ben,
      Aardige suggesties, maar volgens mij zijn ook deze metrics gemakkelijk te manipuleren/misbruiken.
      1. De fouten 6 maanden na release hebben we bij Ericsson veel gebruikt. Wat daar echter vaak gebeurde was dat veel systemen na release nog niet in gebruik werden genomen, de klant was er nog niet klaar voor. Gevolg: 0 fouten! Maar een goed product? En de productmanager heeft wel een belang bij weinig fouten in zijn product. Dus is hij echt te vertrouwen?
      2. Is een nuttige metric die inzicht geeft voor de vakman die ook de onderliggende processen goed kent. Maar als dit soort metrics in targets worden omgezet en in de handen van spreadsheetmanagers komen zie ik de ellende al weer voor me.
      Voor 3. geldt hetzelfde als voor 2.

      Met je laatste opmerkingen ben ik het helemaal eens. Het gaat niet om de meting zelf, het getalletje los van de context zegt helemaal niets. Maar in de handen van de vakman (meten is weten als je weet wat je meet zijn getallen zeker nuttige indicators.

  2. Pingback: Het nieuwe werken & outputsturing, gevaar van targets: analyse en remedie « Ik Jij Wij aanpak

  3. Robert van Lieshout schreef:

    De uitspraak “What gets measured gets manipulated” illustreer ik graag aan de hand van de “Parabel of the Ones”.
    Zie: http://secretsofconsulting.blogspot.com/2010/12/parable-of-ones.html

  4. André Heijstek schreef:

    Goed verhaal. Dank je voor de link!
    Andre

  5. Pingback: Try-out: Systeemdenken en Veranderen vanuit je Sterktes | Ben Linders

  6. Arnold Nagel schreef:

    Goede discussie. Ik denk dat het verkeerde gebruik van diverse metingen zelfs de oorzaak is van de huidige wereldwijde crisis.
    Door het gebruik van goed bedoelde metingen en de daaraan gekoppelde bonus/malus verleg je de focus van de mensen van het echte eindproduct naar de bonus/malus. Het doel is niet meer een goed product, maar een hoge bonus. Niet meer gericht op de langere termijn, maar op de korte termijn. Met een beetje geluk heb je een slecht product, een hoge bonus en om alle problemen weer op te lossen krijg je weer een hoge bonus.
    Metingen dienen het echte doel te ondersteunen en niet te vervangen.
    Allemaal mooie open deuren en gemakkelijk op te schrijven, maar wat doen we eraan?
    In mijn visie is de menselijke maat verdwenen. Zeker in grote bedrijven weten mensen niet (meer) waarom het werk wat ze doen belangrijk is voor het grotere geheel. Alles wordt hen van bovenaf opgelegd zonder betrokkenheid, dus gaat men zijn taak uitvoeren omdat het ‘moet’. Maar waarom? Geen idee.
    Een mogelijke oplossing is beschreven door Ricardo Semler (http://www.semco.com.br/en/content.asp?content=3). De werknemers bepalen zelf hun manier van werken en wat er nodig is om tot goede resultaten te komen. Het uiteindelijke doel is een gezond bedrijf, prettige werken en voldoende geld om goed te kunnen leven. Dan ga je alleen dat meten wat je echt nodig hebt!

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *