Bijlage 2

Evaluatie Dordtse beleidsindicatoren

Middel voor dialoog door selecteren en presenteren

Het opstellen en meten van indicatoren om te monitoren hoe de gemeente heeft gepresteerd, is inmiddels breed ingeburgerd. Tegelijkertijd bestaat het idee dat de huidige sets van lokale en verplichte indicatoren nog niet optimaal de dialoog tussen college en raad faciliteert. In deze adviesnotitie zet het Onderzoekcentrum Drechtsteden uiteen hoe de juiste selectie van gegevens, in combinatie met een heldere presentatie van de scores, de dialoog verder kan worden bevorderd.

Dordtse en verplichte indicatoren

Aan het begin van de raadsperiode 2014-2018 stelde de gemeente Dordrecht ruim 50 indicatoren vast, verspreid over 11 programma's. Medio 2016 kwamen daar nog eens zo'n 40 indicatoren uit de basisset verplichte indicatoren van de Vereniging van Nederlandse Gemeenten (VNG) bij. Deze laatste zijn verdeeld over de negen taakvelden van het  Besluit Begroting en Verantwoording (BBV). Die taakvelden vertonen veel overlap met de Dordtse programma's.

Figuur 1 toont de onderwerpen in de set van de Dordtse en de verplichte indicatoren. Slechts op een enkele indicator overlappen beide sets elkaar. Het vergt enige inspanning om je een goed beeld te verschaffen van wat er allemaal in zit en wat dit betekent.

Met de komst van de verplichte indicatoren en het vooruitzicht van de nieuwe collegeperiode 2018-2022 is het een goed moment om de set met indicatoren eens tegen het licht te houden. We zetten eerst de uitgangspunten voor het selecteren van geschikte indicatoren op een rij en bespreken deze. We eindigen met concrete aanbevelingen.

Uitgangspunten

Tabel 1 geeft tien belangrijke uitgangspunten weer voor het kiezen van indicatoren.

Als we deze uitgangspunten langs de Dordtse en verplichte indicatoren leggen, gaat er al veel goed. Voor de doorontwikkeling van de indicatoren gaan we nader op een aantal uitgangspunten in.

Focus
De Dordtse indicatoren worden voorafgegaan door doelstellingen. Die koppeling is niet 1-op-1 en gaat soms mank. Neem bijvoorbeeld de doelstelling "Inwoners en ondernemers hebben een actieve rol bij het in stand houden van de openbare ruimte". Dit wordt gevolgd met de indicator "percentage bewoners dat zelf het afgelopen jaar actief geweest is om de buurt te verbeteren". De gekozen indicator is breder dan de bijbehorende doelstelling, en mist daarmee focus.

Het kan lastig zijn om een geschikte indicator te kiezen voor een bepaalde doelstelling. In die gevallen is het beter om aan te geven dat er geen geschikte indicator is, dan geforceerd een minder geschikte indicator te kiezen.

Relevantie
Een aantal rapportcijfers en percentages lijkt op het eerste gezicht precies te meten wat ze beogen. Neem bijvoorbeeld de indicator "Rapportcijfer veiligheid in de buurt" voor de doelstelling "Handhaven waardering van de veiligheid door inwoners op het huidige, hoge niveau". Sinds 2009 is dit cijfer zeven keer gemeten in de Veiligheidsmonitor en het rapportcijfer ligt steeds tussen de 6,7 en de 7,0. Als we rekening houden met de betrouwbaarheidsmarges (die per definitie gepaard gaan met steekproefonderzoek), dan zien we geen enkele ontwikkeling. Hieruit trekken we twee lessen. Ten eerste, cijfers waarvan op voorhand bekend is dat ze weinig veranderen zijn geen geschikte indicator. Ten tweede, wordt er toch gekozen voor indicatoren afkomstig uit steekproefonderzoek, dan is het belangrijk om erbij te vermelden of een ontwikkeling een daadwerkelijke (statistisch significante) verandering is of niet (wat wel op gespannen voet kan staan met de toegankelijkheid van de indicator).

Consistentie/onafhankelijkheid
Gegevens van enkele indicatoren komen van verbonden partijen, zoals de Sociale Dienst Drechtsteden en de Serviceorganisatie Jeugd. Er zouden vraagtekens kunnen worden gezet bij de onafhankelijkheid van de gegevens. Daar staat tegenover dat deze organisaties dicht bij de gemeente Dordrecht staan en in staat zijn om actuele gegevens te leveren. Wanneer er een positief, kritische houding wordt aangenomen ten aanzien van de verkregen cijfers, weegt dit op tegen de onafhankelijkheid. Met de Smart City ontwikkeling en de opkomst van Data gestuurd werken is het aannemelijk dat er in de toekomst meer indicatoren worden opgesteld waarvoor de informatie uit de eigen organisatie komt.

Consistentie betekent ook: vasthouden aan opgestelde indicatoren en de bijbehorende streefwaarde. Ook als halverwege blijkt dat niet het juiste is gekozen. Alleen bij hoge uitzondering kan, met duidelijke uitleg van waarom, hiervan worden afgeweken.

Toegankelijkheid
De Dordtse indicatoren worden momenteel statisch gepresenteerd, met weinig oog voor de ontwikkeling door de tijd of ten opzichte van andere gemeenten. Op dit punt kan van de verplichte indicatoren worden geleerd. Deze worden namelijk ontsloten via de landelijke website waarstaatjegemeente.nl en de bijbehorende databank maakt het mogelijk om zowel de cijfers door de tijd te volgen als om een vergelijking te maken met andere gemeenten. Die context maakt duidelijk of een bepaalde ontwikkeling past in de lijn van voorgaande jaren of dat er sprake is van een trendbreuk. En in hoeverre een Dordtse ontwikkeling past binnen de landelijke trend. Figuur 2 toont met fictieve cijfers hoe een groei van het aantal geweldsdelicten niet uitsluitend een negatieve ontwikkeling is.

Duidelijkheid
Het merendeel van de lokale en verplichte indicatoren is duidelijk te begrijpen. Uitzonderingen zijn er ook, zoals "bruto gemeentelijk product", "functiemenging" en "tijdelijke initiatieven". Je moet goed zijn ingevoerd in de materie om te begrijpen wat hiermee wordt bedoeld en of een toename moet worden geïnterpreteerd als een vooruit- of achteruitgang. Bij een indicator als "aantal woningen met te hoge geluidsbelasting" is dat wel meteen duidelijk: een toename van dit aantal staat gelijk aan een achteruitgang.

Duidelijkheid is ook in het geding wanneer lokale en verplichte indicatoren naast elkaar worden gezet. Wordt met de termen "re-integratievoorzieningen" en "participatieplekken" hetzelfde bedoeld? En hoe zit dat bij "commerciële functie" en "vestigingen"? Of "verloedering" en "vernieling en beschadiging"? Daar komt nog eens bij dat de indicatoren in verschillende eenheden worden gepresenteerd. Wordt de ene indicator uitgedrukt in een absolute waarde, de andere relatief (bijvoorbeeld per 1.000 inwoners). Dit komt een goed begrip van wat er gaande is in de gemeente niet ten goede. Over het algemeen werken schaalscores niet verhelderend omdat er een hele wereld achter schuil gaat en je nooit weet wat de verandering veroorzaakt.

Tijdigheid
Actualiteit is een belangrijke voorwaarde voor het goed kunnen volgen van ontwikkelingen. Maar dit is niet altijd vanzelfsprekend. Sommige cijfers worden slechts eens per twee of zelfs vier jaar gemeten. Daar kunnen hele goede argumenten voor zijn, zoals bij het meten van het gevoel van onveiligheid. Die gevoelens ontwikkelen zich niet snel, waardoor het geen zin heeft (en het ook te prijzig is) om dat jaarlijks te weten. Maar hierdoor is het niet mogelijk om via het indicatoren-overzicht steeds een actueel beeld te schetsen. Eind 2017 is er van twee Dordtse indicatoren in het geheel geen cijfer beschikbaar, van vier indicatoren komen de cijfers uit het jaar 2014 en zeven cijfers komen er uit 2015. Ook de verplichte indicatoren van de VNG kennen dit manco. Eind 2017 komt de helft van de cijfers uit 2016 en 2017, de andere helft van de cijfers is minimaal twee jaar oud.

Aanbevelingen

Op basis van het voorgaande doen we een aantal concrete aanbevelingen om de indicatoren beter te laten werken als sturings- en verantwoordingsinstrument. Enerzijds gaat het om de selectie van de juiste indicatoren, anderzijds om de heldere presentatie van de scores.

De juiste selectie

  • Accepteer en benoem dat voor sommige doelstellingen geen geschikte indicator voorhanden is. Bekijk of de oplossing kan liggen in een kwalitatieve verantwoording.
  • Selecteer geen indicatoren waarvan op voorhand al (bijna) zeker is dat de doelstelling wordt gehaald doordat het bijbehorende cijfer niet of nauwelijks verandert.
  • Kies juist wel indicatoren waarvan bekend is dat ze geregeld worden geactualiseerd: registratiegegevens jaarlijks, steekproefgegevens eens in de twee jaar.
  • Reduceer het totale aantal indicatoren tot een behapbaar aantal. Het meest logisch is om te beginnen met de verplichte indicatoren en dit aan te vullen met lokale indicatoren die een goed beeld geven van de belangrijkste doelstellingen/opgaven voor de komende collegeperiode.

Een heldere presentatie

  • Toon bij indicatoren uit steekproefonderzoek ook altijd de betrouwbaarheidsmarges en kies de streefwaarden zodanig dat als die waarde wordt bereikt, er ook daadwerkelijk sprake is van een statistisch significante ontwikkeling.
  • Publiceer de lokale en verplichte indicatoren samen op één plek/dashboard.
  • Verbeter de toegankelijkheid van de scores met duidelijke presentatievormen. Met aandacht voor zowel de ontwikkeling die Dordrecht doormaakt als afgezet tegen andere gemeenten. Voor een goede vergelijkbaarheid is het wenselijk om de indicatoren zoveel mogelijk in relatieve getallen te presenteren.
  • Tel én vertel: cijfers alleen vertellen nooit het hele verhaal. Geef elke indicator de ruimte om uit te leggen welke redenen er schuilen achter de getoonde cijfers.