Evaluatie Dordtse beleidsindicatoren
Middel voor dialoog door selecteren en presenteren
Het opstellen en meten van indicatoren om te monitoren hoe de gemeente heeft gepresteerd, is inmiddels breed ingeburgerd. Tegelijkertijd bestaat het idee dat de huidige sets van lokale en verplichte indicatoren nog niet optimaal de dialoog tussen college en raad faciliteert. In deze adviesnotitie zet het Onderzoekcentrum Drechtsteden uiteen hoe de juiste selectie van gegevens, in combinatie met een heldere presentatie van de scores, de dialoog verder kan worden bevorderd.
Dordtse en verplichte indicatoren
Aan het begin van de raadsperiode 2014-2018 stelde de gemeente Dordrecht ruim 50 indicatoren vast, verspreid over 11 programma's. Medio 2016 kwamen daar nog eens zo'n 40 indicatoren uit de basisset verplichte indicatoren van de Vereniging van Nederlandse Gemeenten (VNG) bij. Deze laatste zijn verdeeld over de negen taakvelden van het Besluit Begroting en Verantwoording (BBV). Die taakvelden vertonen veel overlap met de Dordtse programma's.
Figuur 1 toont de onderwerpen in de set van de Dordtse en de verplichte indicatoren. Slechts op een enkele indicator overlappen beide sets elkaar. Het vergt enige inspanning om je een goed beeld te verschaffen van wat er allemaal in zit en wat dit betekent.
Met de komst van de verplichte indicatoren en het vooruitzicht van de nieuwe collegeperiode 2018-2022 is het een goed moment om de set met indicatoren eens tegen het licht te houden. We zetten eerst de uitgangspunten voor het selecteren van geschikte indicatoren op een rij en bespreken deze. We eindigen met concrete aanbevelingen.
Uitgangspunten
Tabel 1 geeft tien belangrijke uitgangspunten weer voor het kiezen van indicatoren.
Als we deze uitgangspunten langs de Dordtse en verplichte indicatoren leggen, gaat er al veel goed. Voor de doorontwikkeling van de indicatoren gaan we nader op een aantal uitgangspunten in.
Focus
De Dordtse indicatoren worden voorafgegaan door doelstellingen. Die koppeling is niet 1-op-1 en gaat soms mank. Neem bijvoorbeeld de doelstelling "Inwoners en ondernemers hebben een actieve rol bij het in stand houden van de openbare ruimte". Dit wordt gevolgd met de indicator "percentage bewoners dat zelf het afgelopen jaar actief geweest is om de buurt te verbeteren". De gekozen indicator is breder dan de bijbehorende doelstelling, en mist daarmee focus.
Het kan lastig zijn om een geschikte indicator te kiezen voor een bepaalde doelstelling. In die gevallen is het beter om aan te geven dat er geen geschikte indicator is, dan geforceerd een minder geschikte indicator te kiezen.
Relevantie
Een aantal rapportcijfers en percentages lijkt op het eerste gezicht precies te meten wat ze beogen. Neem bijvoorbeeld de indicator "Rapportcijfer veiligheid in de buurt" voor de doelstelling "Handhaven waardering van de veiligheid door inwoners op het huidige, hoge niveau". Sinds 2009 is dit cijfer zeven keer gemeten in de Veiligheidsmonitor en het rapportcijfer ligt steeds tussen de 6,7 en de 7,0. Als we rekening houden met de betrouwbaarheidsmarges (die per definitie gepaard gaan met steekproefonderzoek), dan zien we geen enkele ontwikkeling. Hieruit trekken we twee lessen. Ten eerste, cijfers waarvan op voorhand bekend is dat ze weinig veranderen zijn geen geschikte indicator. Ten tweede, wordt er toch gekozen voor indicatoren afkomstig uit steekproefonderzoek, dan is het belangrijk om erbij te vermelden of een ontwikkeling een daadwerkelijke (statistisch significante) verandering is of niet (wat wel op gespannen voet kan staan met de toegankelijkheid van de indicator).
Consistentie/onafhankelijkheid
Gegevens van enkele indicatoren komen van verbonden partijen, zoals de Sociale Dienst Drechtsteden en de Serviceorganisatie Jeugd. Er zouden vraagtekens kunnen worden gezet bij de onafhankelijkheid van de gegevens. Daar staat tegenover dat deze organisaties dicht bij de gemeente Dordrecht staan en in staat zijn om actuele gegevens te leveren. Wanneer er een positief, kritische houding wordt aangenomen ten aanzien van de verkregen cijfers, weegt dit op tegen de onafhankelijkheid. Met de Smart City ontwikkeling en de opkomst van Data gestuurd werken is het aannemelijk dat er in de toekomst meer indicatoren worden opgesteld waarvoor de informatie uit de eigen organisatie komt.
Consistentie betekent ook: vasthouden aan opgestelde indicatoren en de bijbehorende streefwaarde. Ook als halverwege blijkt dat niet het juiste is gekozen. Alleen bij hoge uitzondering kan, met duidelijke uitleg van waarom, hiervan worden afgeweken.
Toegankelijkheid
De Dordtse indicatoren worden momenteel statisch gepresenteerd, met weinig oog voor de ontwikkeling door de tijd of ten opzichte van andere gemeenten. Op dit punt kan van de verplichte indicatoren worden geleerd. Deze worden namelijk ontsloten via de landelijke website waarstaatjegemeente.nl en de bijbehorende databank maakt het mogelijk om zowel de cijfers door de tijd te volgen als om een vergelijking te maken met andere gemeenten. Die context maakt duidelijk of een bepaalde ontwikkeling past in de lijn van voorgaande jaren of dat er sprake is van een trendbreuk. En in hoeverre een Dordtse ontwikkeling past binnen de landelijke trend. Figuur 2 toont met fictieve cijfers hoe een groei van het aantal geweldsdelicten niet uitsluitend een negatieve ontwikkeling is.
Duidelijkheid
Het merendeel van de lokale en verplichte indicatoren is duidelijk te begrijpen. Uitzonderingen zijn er ook, zoals "bruto gemeentelijk product", "functiemenging" en "tijdelijke initiatieven". Je moet goed zijn ingevoerd in de materie om te begrijpen wat hiermee wordt bedoeld en of een toename moet worden geïnterpreteerd als een vooruit- of achteruitgang. Bij een indicator als "aantal woningen met te hoge geluidsbelasting" is dat wel meteen duidelijk: een toename van dit aantal staat gelijk aan een achteruitgang.
Duidelijkheid is ook in het geding wanneer lokale en verplichte indicatoren naast elkaar worden gezet. Wordt met de termen "re-integratievoorzieningen" en "participatieplekken" hetzelfde bedoeld? En hoe zit dat bij "commerciële functie" en "vestigingen"? Of "verloedering" en "vernieling en beschadiging"? Daar komt nog eens bij dat de indicatoren in verschillende eenheden worden gepresenteerd. Wordt de ene indicator uitgedrukt in een absolute waarde, de andere relatief (bijvoorbeeld per 1.000 inwoners). Dit komt een goed begrip van wat er gaande is in de gemeente niet ten goede. Over het algemeen werken schaalscores niet verhelderend omdat er een hele wereld achter schuil gaat en je nooit weet wat de verandering veroorzaakt.
Tijdigheid
Actualiteit is een belangrijke voorwaarde voor het goed kunnen volgen van ontwikkelingen. Maar dit is niet altijd vanzelfsprekend. Sommige cijfers worden slechts eens per twee of zelfs vier jaar gemeten. Daar kunnen hele goede argumenten voor zijn, zoals bij het meten van het gevoel van onveiligheid. Die gevoelens ontwikkelen zich niet snel, waardoor het geen zin heeft (en het ook te prijzig is) om dat jaarlijks te weten. Maar hierdoor is het niet mogelijk om via het indicatoren-overzicht steeds een actueel beeld te schetsen. Eind 2017 is er van twee Dordtse indicatoren in het geheel geen cijfer beschikbaar, van vier indicatoren komen de cijfers uit het jaar 2014 en zeven cijfers komen er uit 2015. Ook de verplichte indicatoren van de VNG kennen dit manco. Eind 2017 komt de helft van de cijfers uit 2016 en 2017, de andere helft van de cijfers is minimaal twee jaar oud.
Aanbevelingen
Op basis van het voorgaande doen we een aantal concrete aanbevelingen om de indicatoren beter te laten werken als sturings- en verantwoordingsinstrument. Enerzijds gaat het om de selectie van de juiste indicatoren, anderzijds om de heldere presentatie van de scores.
De juiste selectie
Een heldere presentatie
