Deze website maakt gebruik van cookies. Klik hier voor meer informatie.

De beoordelingscommissie; de mate van deskundigheid en de ‘klik’ daarmee

Advies 358 Commissie van Aanbestedingsexperts d.d. 17 juni 2016

Relevantie

  • Bij kwalitatieve gunningscriteria dient de beoordelingscommissie te beschikken over voldoende deskundigheid om daadwerkelijk te kunnen nagaan of de inschrijvingen voldoen aan de criteria.
  • Ingeval de leden van de beoordelingscommissie onafhankelijk van elkaar beoordelen en de individuele scores worden gemiddeld, volstaat niet een beoordelingscommissie waarvan slechts een derde over voldoende materiedeskundigheid beschikt.
  • Bij een beoordeling waarbij de leden van de beoordelingscommissie onafhankelijk van elkaar beoordelen en de individuele scores worden gemiddeld, wordt ten aanzien van de tot op zekere hoogte onvermijdelijke subjectiviteit van de beoordeling toch afdoende objectiviteit bereikt.
  • Een criterium waarbij tijdens het interview getoetst wordt op ‘klik tussen de inschrijver en de beoordelaars’ is niet toegestaan (het houdt immers geen verband met de uit te voeren opdracht).

Inleiding

Een scholenfederatie houdt een Europese aanbesteding voor diensten op het gebied van communicatieadvies, (creatieve) vormgeving, DTP, drukwerk-inkoop en fotografie (beeldcreatie).

De scholenfederatie is daarvoor op zoek naar een dienstverlener die de strategische koers en bijbehorende doelstellingen vertaalt naar professionele en moderne communicatiemiddelen en creatie. Daarnaast moet de dienstverlener minimaal in staat zijn om de afzonderlijke identiteit van de deelnemende scholen te versterken binnen de groepsidentiteit. De juiste beeldtaal verbinden aan de doelgroepen van de scholenfederatie speelt daarbij een cruciale rol. De scholenfederatie is op zoek naar een dienstverlener met inlevingsvermogen in haar organisatie en doelgroepen.

Om de kwaliteit van de inschrijvingen vast te kunnen stellen dienen de inschrijvers meerdere open vragen te beantwoorden. Eén daarvan heeft betrekking op hoe wordt omgegaan met een situatie – gedurende de looptijd van de raamovereenkomst – dat er onvoldoende ‘klik’ is tussen de accountmanager of creatieve vormgever en de scholenfederatie.

Daarnaast dienen de inschrijvers een uitwerking van een aantal casussen aan te leveren. Alle inschrijvers die in aanmerking komen voor de beoordeling van de gunningscriteria worden tevens in de gelegenheid gesteld voor een interview. Ook daarbij wordt een beoordelingsaspect ‘klik’ gebruikt. Ditmaal betreft het de vraag of er in het kader van het interview een ‘klik’ is tussen de inschrijvers en de beoordelaars.

De beoordeling zal plaatsvinden door een beoordelingscommissie waarvan ieder lid onafhankelijk van de andere leden de inschrijvingen zal beoordelen per gunningscriterium.

De klager heeft drie bezwaren tegen de wijze van aanbesteden. De klager stelt zich op het standpunt dat:

1)  de aanbestedende dienst onvoldoende informatie heeft verstrekt om zich ten behoeve van de kwalitatieve gunningscriteria een voldoende beeld te vormen van de – huidige – identiteit, positionering en profilering, doelgroep(en) en het imago van de scholenfederatie;

2)  de beoordelingscommissie over onvoldoende kennis beschikt om de kwalitatieve gunningscriteria te kunnen beoordelen;

3)  de beoordelingscommissie niet alleen het ingediende materiaal beoordeelt, maar ten onrechte ook het interview en degenen die het interview geven. De beoordelingscommissie beoordeelt in dat laatste verband ook of er (ter gelegenheid van het interview) een ‘klik’ is tussen de inschrijvers en de beoordelaars.

Het Advies

De Commissie schetst, onder verwijzing naar Advies 78, eerst het beoordelingskader (overweging 5.2.1 en 5.2.2):

‘In artikel 1.9 Aw 2012 is bepaald dat een aanbestedende dienst transparant moet handelen. Deze verplichting is ten aanzien van kwalitatieve gunningscriteria in de jurisprudentie als volgt geconcretiseerd. Het is van belang dat:

(i)    het voor een kandidaat-inschrijver volstrekt duidelijk is wat van hem wordt verwacht;

(ii)   de inschrijvingen aan de hand van een zo objectief mogelijk systeem worden beoordeeld, en;

(iii)de gunningsbeslissing zodanig inzichtelijk wordt gemotiveerd dat het voor de afgewezen inschrijvers mogelijk is om de wijze waarop de beoordeling heeft plaatsgevonden te toetsen.’

‘Deze uitgangspunten laten onverlet dat enige mate van subjectiviteit bij de beoordeling van een kwalitatief gunningscriterium onvermijdelijk is en dat de aanbestedende dienst bij een dergelijk criterium de inschrijvers enige vrijheid kan laten om hun inventiviteit te tonen. Van een aanbestedende dienst behoeft binnen het kader van de hiervoor genoemde uitgangspunten niet te worden verwacht dat hij criteria zodanig beschrijft, in die zin dat hij zeer exact en zeer gedetailleerd aangeeft wat nodig is om een maximale score te behalen.’

Klachtonderdeel 1

Naar het oordeel van de klager ontbreekt informatie om een beeld te vormen van de doelgroepen en identiteit van de scholenfederatie waarop één van de kwalitatieve gunningscriteria betrekking heeft. De Commissie beoordeelt deze klacht in het licht van het onder (i) weergegeven uitgangspunt dat het voor een kandidaat-inschrijver volstrekt duidelijk moet zijn wat van hem wordt verwacht.

De eerste klacht wordt ongegrond bevonden. In de aanbestedingsstukken bevindt zich namelijk (ook) een verwijzing naar de website van de scholenfederatie waar alle relevante informatie over de scholenfederatie en haar scholen terug te vinden is.

Terzijde merken wij op dat, hoewel een verwijzing naar de eigen website handig kan zijn, voorkomen moet worden dat het een zoekplaatje wordt voor de inschrijvers. In rechtsoverweging 67 van het Koffie-arrest (HvJ EU 10 mei 2012 (C-368/10)) heeft het Hof namelijk bepaald dat de ‘potentiële inschrijvers zich [moeten] kunnen baseren op één officieel document dat afkomstig is van de aanbestedende dienst zelf, zonder dat zij derhalve te maken krijgen met onzekerheden van het opzoeken van informatie’.

Klachtonderdeel 2

Met de tweede klacht stelt de klager zich op het standpunt dat de beoordelingscommissie over onvoldoende materiedeskundigheid beschikt.

De Commissie beoordeelt deze klacht in het licht van het onder (ii) weergegeven uitgangspunt dat de inschrijvingen aan de hand van een zo objectief mogelijk systeem moeten worden beoordeeld. In dat kader is vereist dat de aanbestedende dienst op basis van de door de inschrijvers verstrekte inlichtingen en bewijsstukken daadwerkelijk kan nagaan of de aanbiedingen voldoen aan de gunningscriteria (5.4.1). De Commissie is van oordeel dat deze verplichting mede inhoudt dat een aanbestedende dienst moet zorgen voor voldoende deskundigheid om de inschrijvingen met het oog op de toepassing van de gunningscriteria te kunnen beoordelen.

Omdat in deze aanbesteding het resultaat van een creatieve prestatie moet worden beoordeeld door een beoordelingscommissie/jury en daarmee enige gelijkenis bestaat met de procedure van een prijsvraag, gaat de Commissie (hoewel niet van toepassing) eerst te rade bij artikel 2.160 Aw 2012. Daarin wordt de eis gesteld dat daar waar een bijzondere beroepskwalificatie van de deelnemers aan een prijsvraag wordt geëist, ten minste een derde van de juryleden dezelfde of gelijkwaardige kwalificatie heeft. Omdat de leden van de beoordelingscommissie in onderhavige aanbesteding onafhankelijk van elkaar beoordelen, meent de Commissie dat het uitgangspunt onder (ii) onvoldoende is gewaarborgd indien slechts een derde van de leden van de beoordelingscommissie materiedeskundig zou zijn. Er is bij zo’n wijze van beoordeling dus meer materiedeskundigheid nodig in de beoordelingscommissie.

Omdat de klager zijn bezwaar onvoldoende heeft onderbouwd en in de aanbestedingsstukken is aangegeven dat de beoordelingscommissie (bestaande uit vakinhoudelijke deskundigen en inkopers en dat deze zal bestaan uit vijf materiedeskundigen) over voldoende deskundigheid zal beschikken, wordt de klacht ongegrond verklaard.

Klachtonderdeel 3

Ook de derde klacht wordt in het licht van het uitgangspunt onder (ii) beoordeeld; worden de inschrijvingen aan de hand van een zo objectief mogelijk systeem beoordeeld?

De Commissie stelt voorop dat voor een creatieve opdracht als deze enige mate van subjectiviteit onvermijdelijk zal zijn. Om die subjectiviteit in sterke mate in te perken heeft de aanbestedende dienst een aantal procedurele maatregelen getroffen. Zo:

  • zijn de te onderscheiden gunningscriteria en het beoordelingsmodel gedetailleerd uitgewerkt;
  • worden de scores toegelicht;
  • is de puntenscore duidelijk en volledig;
  • is precies ingekaderd hoe het interview wordt gehouden en krijgen alle inschrijvers dezelfde vragen te beantwoorden, die van te voren zijn vastgelegd;
  • zijn er vijf beoordelaars wiens beoordeling wordt gemiddeld. De subjectieve beoordeling van één beoordelaar speelt dus een betrekkelijk geringe rol omdat door het middelen een soort van objectiviteit wordt bereikt;
  • zijn de beoordelaars materiedeskundig.

Omdat de procedure van het interview precies is ingekaderd, alle inschrijvers dezelfde vragen moeten beantwoorden en die vragen van tevoren zijn vastgesteld, acht de Commissie het houden van een interview in het kader van een kwalitatieve beoordeling in beginsel toelaatbaar. De Commissie verwijst daarbij naar het arrest van het Gerechtshof Den Haag van 17 maart 2015.

Hoewel enige subjectiviteit is toegestaan, acht de Commissie evenwel het risico van willekeur en favoritisme bij het ‘interview’ te groot bij toepassing van het beoordelingsaspect ‘klik’ tussen een inschrijver en de beoordelaars. De derde klacht wordt dan ook gegrond verklaard.

Het beoordelingsaspect ‘klik’ dat een rol speelt bij de beoordeling van de antwoorden op de ‘open vragen’ acht de Commissie daarentegen wel toelaatbaar. In het kader van de open vragen heeft het beoordelingsaspect immers betrekking op de wijze waarop een inschrijver omgaat met een situatie ‘tijdens de looptijd van de raamovereenkomst’ en wordt er, in tegenstelling tot bij het interview, niet beoordeeld in hoeverre er ‘ten tijde van de beoordeling’ een klik is met de inschrijver.

Ten overvloede merkt de Commissie op dat in deze aanbesteding wel erg veel kwalitatieve gunningscriteria zijn opgenomen die tot knock-out leiden als op één van de vele punten niet goed genoeg wordt gescoord. De Commissie is dan ook van oordeel dat van de inschrijver aanzienlijke inspanningen worden gevraagd en de aanbestedende dienst met de keuze voor een openbare procedure, een procedure heeft gekozen die in niet geschikt en niet proportioneel is.

Vragen of opmerkingen? Neem contact op met Theunis Dankert.