Home Kennis Consensusbeoordeling en traditionele rapportcijfers niet aan te bevelen?

Consensusbeoordeling en traditionele rapportcijfers niet aan te bevelen?

10 mei 2023
Jantine Kok-Muller
Op 2 mei jl. publiceerde de Cobouw een aantal tips om offertes beter te beoordelen in aanbestedingen in de bouw. Deze tips komen uit het online magazine van Deal! en zijn gebaseerd op het werk van psycholoog en Nobelprijswinnaar Daniël Kahneman. De tips zouden “ruis” tijdens aanbestedingen vermijden. Met “ruis” wordt dan bedoeld dat beoordelaars onderling niet consequent en consistent beoordelen. Een andere maar niet de minste “ruis” binnen aanbestedingen is of de beoordeling tot geschillen leidt. Zonder ook maar iets aan het werk van Kahneman af te doen, vraag ik mij af of een aantal van de tips deze laatste vorm van “ruis” niet juist zal bevorderen.

De op 2 mei jl. door Cobouw gepubliceerde tips: https://www.cobouw.nl/312566/aanbestedingen-in-de-bouw-6-tips-om-offertes-beter-te-beoordelen

De eerste tip is om bij groepsbeoordelingen altijd te werken met een gemiddelde score en niet in een consensusbeoordeling tot één afgerond cijfer te komen, omdat de besluitvorming in de consensusbespreking kan worden beïnvloed door allerlei factoren (zoals: invloed van een beoordelaar met een ‘hoge status’). In de praktijk leidt het werken met een gemiddeld cijfer echter tot het probleem dat het toe te kennen cijfer niet aan de hand van het (tevoren vastgestelde) beoordelingskader kan worden uitgelegd/toegelicht. Het gemiddelde cijfer wordt immers bepaald op basis van uiteenlopende cijfers met bijbehorende (uiteenlopende) motiveringen en niet op basis van het (uiteindelijk) toe te kennen cijfer en een bij dat cijfer passende motivering. Bedacht dient te worden dat inschrijvers in de praktijk steeds meer aandringen op uitgewerkte beoordelingsmatrixen waarin wordt toegelicht wanneer een bepaald cijfer wordt gescoord. De motivering moet uiteraard nauwgezet aansluiten bij de omschrijving van het toegekende cijfer. Dat resultaat kan beter worden bereikt binnen een consensusmodel waarin – eventueel op basis van uiteenlopende meningen – tot een gemeenschappelijk cijfer met bijbehorende motivering wordt gekomen.

De (zesde) tip, om een goede/sterke gespreksleider aan te wijzen die het besluitvormingsproces begeleidt, steun ik van harte. Daarmee kan – als het goed is – ook worden voorkomen dat één beoordelaar in de consensusbespreking de boventoon voert. Beoordelen blijft echter mensenwerk en geen wiskunde. Groepsdynamieken kunnen binnen beoordelingscommissies niet worden voorkomen.

De tweede tip om bij de beoordeling van inschrijvingen (nog) kleinere stapjes te hanteren dan de traditionele rapportcijfers (1/ t/m 10), onderschrijf ik niet. Het is niet reëel om beoordelaars te vragen om met een nog grotere nuance naar de inschrijvingen te kijken dan op basis van tien stappen en uit te leggen waarom de ene inschrijver bijvoorbeeld een 7,1 en de andere inschrijver een 7,4 scoort. Dat is in de praktijk niet werkbaar en zal naar verwachting leiden tot een groot aantal motiveringsgeschillen. Uiteraard dient de beoordelingsmatrix ook weer niet te grofmazig te zijn en voldoende ruimte te bieden voor het beoordelen van de kwaliteit van de inschrijvingen. Het verdient om die reden geen aanbeveling om te werken met slechts enkele (mogelijk) toe te kennen cijfers. Dit zou onvoldoende recht kunnen doen aan de kwaliteitsverschillen tussen inschrijvers. Met de traditionele rapportcijfers is dat over algemeen voldoende gewaarborgd.

De derde tip is om verschillen in kwaliteit tot uitdrukking te laten komen in harde euro’s. Deze methodiek (Gunnen op Waarde) wordt zowel in de GWW sector als daarbuiten al veelvuldig gebruikt (zie bijvoorbeeld: Rechtbank-Midden Nederland, vonnis van 11 juni 2021, ECLI:NL:RBMNE:2021:2477). Om van deze methodiek gebruik te kunnen maken dient echter vooraf duidelijk te worden omschreven met welke kwaliteitsaspecten (subgunningcriteria) welke fictieve kortingen (of bijtellingen) op de inschrijfsom worden verkregen. Het ligt vanuit het oogpunt van transparantie niet voor de hand om beoordelaars binnen een bepaalde financiële bandbreedte zelf eurobedragen te laten scoren, zoals in tip drie wordt voorgesteld. Dit natte vingerwerk zal in de praktijk juist voor veel discussie/ruis kunnen zorgen.

De vierde en vijfde tip zijn op zichzelf nuttig. De vierde tip is om bij het beoordelen van de inschrijvingen af ten toe eens terug te blikken en te checken of de beoordeling consistent verloopt. Het is belangrijk om in de gaten te blijven houden of alle inschrijvingen langs dezelfde lat worden gelegd (en bijvoorbeeld te voorkomen dat bij de éne inschrijving een ontbrekend aandachtspunt al leidt tot een lager cijfer, terwijl dat bij de andere inschrijver niet het geval is). De vijfde tip is om te variëren met de volgorde van het beoordelen van de inschrijvingen (bij het horizontaal – per gunningcriterium - beoordelen van de gunningcriteria). Dat kan zeker geen kwaad.

De belangrijkste tip voor het beter beoordelen van offertes ontbreekt echter in het artikel: zorg voor een niet te ingewikkeld en een eenduidig beoordelingskader! Bij het beoordelen van de offertes loopt een beoordelaar al gauw tegen problemen aan als het beoordelingskader niet begrijpelijk en eenduidig of gewoon te gelaagd en ingewikkeld is. De ervaring leert dat beoordelaars dan een eigen interpretatie aan het beoordelingskader (moeten) geven en er onderling lastig uitkomen. Motiveringsgeschillen, herbeoordelingen en (in het ergste geval) heraanbestedingen, liggen dan op de loer.

Heeft u behoefte aan meer tips en adviezen of een ‘sanity-check’ van uw aanbestedingsdocumentatie, neem dan contact met ons op!