Hoe dichter we bij de verkiezingen komen, hoe meer aandacht er is voor de peilingen. Het idee lijkt even simpel als effectief: door een representatieve steekproeven naar hun stemintentie te vragen geef je een voorspelling van de daadwerkelijke uitslag. Toch zitten de peilingen er vaak naast, zelfs als je kijkt naar het gewogen gemiddelde van de Peilingwijzer. Verder voor de verkiezingen is dit logisch: de peilingen vragen naar huidige stem-intentie, die kan anders zijn. Ook vlak voor de verkiezingen zitten de peilingen er vaak naast. In hoeverre zijn de verkiezingsuitslagen beter te voorspellen door factoren mee te nemen die niets te maken hebben met de huidige campagne, zoals eerdere uitslagen, regeringsdeelname en economische groei?

In de Verenigde Staten zijn heel wat websites die een op data gebaseerde verkiezingsvoorspelling bieden: 538 is er groot mee geworden, het tijdschrift Economist had een eigen voorspelling en dan zijn er nog hobbyisten of studenten die binnen een studie-opdracht hun eigen model maken. Het kiesstelsel in de VS is natuurlijk radicaal anders dan hier, maar zou een op data gebaseerde voorspelling in Nederland ook mogelijk zijn?

Aanpak

Ik zal eerst bekijken hoe we één voorspelling definiëren. Elke voorspelling die gedaan wordt is de verkiezingsuitslag van één partij per Tweede Kamer verkiezing, in percentage van de stemmen. Dus het percentage stemmen voor de PvdA bij de verkiezing van 2017 is een voorspelling, het resultaat van het CDA in 2017 een tweede voorspelling en het resultaat van de PvdA in 1986 een derde voorspelling. Ik heb de verkiezingen vanaf 1977 gebruikt, aangezien ik vanaf die data ook peilingen heb. De historische peil-gegevens zijn met dank aan www.allepeilingen.com die een archief heeft dat zover terug gaat. De meer recente peilingen zijn een combinatie van de peilingwijzer, europeelects.eu en eigen verzamelwerk. De historische peilingen van allepeilingen.com zijn wel beperkt tot nu of recent actieve partijen, dus de fusie tot GroenLinks en ChristenUnie is toegepast op deze peiling-data en heb ik dus ook toegepast op de resultaten. Nadat alle partijen die niet in de peilingen voorkwamen, en merendeel kansloos waren, er uit zijn geschrapt houden we dan 117 voorspellingen in 13 verkiezingen over.

Naast peilingen heb ik ook voorgaande verkiezingsuitslagen, regeringsdeelname, het leveren van de premier, het uit het kabinet stappen door de partij en de toenmalige economische groei als inputfactoren meegenomen.

Modellen

Ik heb met twee soorten modellen geëxperimenteerd en binnen elk van deze twee modellen met diverse combinaties van de voorspellende parameters. Ik presenteer hier twee modellen: eentje die géén gebruik maakt van peilingen en een die wel peilingen mee neemt.

Het eerste model, dus zonder peilingen, maakt de voorspelling op baiss van fundamentele factoren die bekend zijn voordat de campagne begint. Dus puur kijkend naar regeringsdeelname, vorige resultaten en economische groei - ofwel ongeacht hoe goed of slecht een partij in de tussenliggende tijd gepresteerd of gecommuniceerd heeft. Na heel wat geëxperimenteer zijn in dit model (exclusief peilingen) de volgende drie factoren mee genomen:
* het voortschrijdend gemiddelde van de verkiezingsuitslagen. Bij het voortschrijdend gemiddelde telt de laatste verkiezingsuitslag het zwaarst en de twee ervoor minder mee
* de partij van de premier krijgt een bonus die groter is bij meer economische groei
* een malus voor de andere regeringspartijen, deze is onafhankelijk van de economische groei
Dit sluit aan bij eerder onderzoek waar ook een premier-bonus en een afstraffing voor de junior regeringspartijen voorkomt. Denk bij dit laatste bijvoorbeeld aan het gezegde ‘regeren is halveren’ bij D66. In de VS is bekend dat de economische groei erg relevant is voor de herverkiezings-kansen van de zittende president, en hier lijkt het dus uit te maken van de kansen van de partij van de premier.
Dit model voorspelt dus een week voor de verkiezingen precies hetzelfde als 5 maanden voor de verkiezingen.

Het tweede model is dus inclusief de recente peilingen en zou daarmee de best mogelijke voorspelling moeten zijn. Na veel combinaties geprobeerd te hebben bleek simpelheid het te winnen van complexiteit en zijn er vier factoren gebruikt:
* voortschrijdend gemiddelde van de peilingen. Net als bij de uitslagen tellen hier de meest recente peilingen het zwaarst mee maar wordt ook iets verder terug gekeken.
* trend in de peilingen, gedefineerd als hoeveel de peilingen de afgelopen 2 weken omhoog of omlaag zijn gegaan
* voortschrijdend gemiddelde van de verkiezingsuitslagen
* hoeveel dagen er nog zijn tot de verkiezingen
Dit laatste is mee genomen door het belang van deze factoren te variëren over tijd: het voortschrijdend gemiddelde van de peilingen wordt steeds belangrijker, de andere twee steeds minder belangrijk - hoe dichter bij de verkiezingen, hoe minder tijd er is om nog zetels te winnen of verliezen. Op de dag van de verkiezingen is 80% van de voorspelling het voortschrijdend gemiddelde van de peilingen.

Resultaten

we Ik ga de resultaten van deze modellen laten zien, en deze vergelijken met twee referentie-punten:
* het percentage stemmen tijdens de vorige verkiezing
* het gemiddelde van de laatste peilingen (van elk peilingbureau één indien een recente beschikbaar is).
Dit soort referentiepunten geven een idee van hoe goed het model is. Uiteraard zijn deze niet gemaakt als voorspelling en zo ook niet te zien.

De volgende grafiek laat det wee voorspellignen zien voor de grootste partij (VVD) tijdens de laatste verkiezing (15 maart 2017). Deze geeft de voorspellingen en referenties weer tegen de tijd: links is 6 maanden voor de verkiezing, rechts is de dag van de verkiezingen. De zwarte lijn is het resultaat dat de VVD uiteindelijk haalde (21,2%) en daar zouden de voorspellingen dus zo dicht mogelijk bij moeten liggen. De voorspelling exclusief peiling is in dit geval erg goed (paarse lijn, 20,7%), en zou een stuk betere voorspelling zijn dan als je gewoon het de laatste verkiezing als voorspelling had gebruikt (groene lijn, 26,6%). De rode punten zijn de toenmalige laatste peilingen, die bleken de volledige zes maanden voor de verkiezingen veel te pessimistisch voor de VVD. De blauwe punten zijn het model inclusief peilingen Dat had in dit geval een stukje beter gepresteerd dan puur kijken naar de peilingen: het vermoedde al dat de peilingen te laag waren, en was wat minder gevoelig voor schommelingen in de peilingen. Wel voorspelden de peilingen én het model de laatste week een slechtere uitslag van de VVD (dalende punten op het einde), terwijl de uiteindelijke uitslag juist hoger uit kwam. Opvallend genoeg was de voorspelling op 173 dagen voor de verkiezingen het allerbeste - dat is toeval in dit ene geval en zegt niet dat we die zouden moeten gebruiken.

Hoe goed zijn de modellen?

We kunnen uiteraard voorspellings-modellen niet beoordelen op een individuele voorspelling, dus we moeten naar alle verkiezingen en alle partijen kijken. In onderstaande grafiek wordt dat gedaan. Voor elke voorspelling wordt de fout berekend: dus het percentage stemmen dat daadwerkelijk behaald is door partij A versus de voorspelling voor partij A. In de vorige plot is dat het verschil tussen de zwarte lijn, het uiteindelijke resultaat, met de voorspelling.

Deze foutmarge wordt opgeteld voor alle partijen en gemiddeld voor alle verkiezingen. Zo krijgen we een totale fout per verkiezing, waarbij we de twee modellen en de twee referenties kunnen vergelijken. Dit is gedaan in de onderstaand figuur met dezelfde kleurcoderingen - hier is de ideale uitkomst uiteraard 0 ofwel de x-as.

De groene en paarse lijnen zouden helemaal horizontaal moeten zijn, ze zijn immers enkel afhankelijk van vaststaande gegevens. Op de grafiek variëren ze enigszins omdat er soms oude verkiezingen zijn waarvoor op een bepaald aantal dagen van te voren geen recente peilingen beschikbaar zijn; deze worden dan niet meegenomen in de beoordeling.

De voorspelling zonder peiling (paarse lijn) doet het wel beter dan gewoon de vorige verkiezing nemen (groene lijn), maar heeft een behoorlijke afwijking van de werkelijkheid. In de vorige plot was te zien dat dit voor de VVD in 2017 wel een erg goede voorspelling opleverde, maar dat is dus niet overal zo. Vanaf 6 maanden voor de verkiezing wordt de laatste peiling een betere voorspelling dan het model met enkel fundamentele factoren.

De peilingen (rode stippen) op hun beurt worden logischerwijs een steeds betere voorspelling als we dichterbij de verkiezingen komen. Het model dat ook de peilingen meeneemt (blauwe punten) is een betere voorspelling dan puur de laatste peiling, al wordt dit verschil verwaarloosbaar de laatste paar weken voor de verkiezing.



Dit is duidelijker te zien als we verticaal inzoomen: de blauwe stippen van het model liggen consistenter en lager dan de rode stippen van de peilingen. De fout van het model is gemiddeld 7,1% en maximaal 19% (rond 35 dagen voor de verkiezingen) kleiner dan de laatste peiling.

De komende verkiezingen

Voor komende verkiezingen ziet het model met peilingen er op 6 februari als volgt uit, met aangegeven 90% onzekerheidsmarges.


Als ik verder kijk valt dat op de voorspelling voor de VVD voorspeld wat lager is dan de peilingen suggereren en de PvdA iets hoger voorspeld wordt. Een reden bij beide is dat er dus ook gekeken wordt naar de uitslagen van de laatste verkiezingen en die suggeren een grotere PvdA en een kleinere VVD dan de peilingen. Of dat in maart ook daadwerkelijk zo is zal de tijd uitwijzen.

Conclusie

Politici zeggen als het ze uitkomt vaak dat peilingen palingen zijn, maar voor voorspellingen van de uitslagen zijn ze onmisbaar. Vanaf een half jaar voor de verkiezingen zijn ze een betere voorspelling dan een model op basis van fundamentele factoren. Een goede voorspelling maken zonder naar de peilingen kijken is dus niet gelukt.

We krijgen de beste voorspelling als we naast de laatste peilingen ook kijken naar de laatste verkiezingsuitslagen en de trends in de peilingen. Tot drie weken voor de verkiezingen is deze voorspelling een stuk beter dan de peilingen, daarna wordt dat verschil steeds kleiner - dat is ook het moment dat peilingen sneller betrouwbaarder worden. Ofwel: de verkiezingsavonden blijven voorlopig nog even spannend, maar iets verder van te voren hebben we wat meer houvast.

Een vervolg project zou zijn om te kijken of er nog andere factoren bij kunnen dragen. Denk hierbij aan aantal keer dat een partij genoemd wordt op het nieuws of opgezocht op internetzoekmachines, juist in de campagne-weken. Ook zouden we kunnen kijken of de stand van soortgelijke partijen nog mee speelt: als we verwachten dat de PvdA nog sterk gaat dalen, is het waarschijnlijk dat GroenLinks nog wat zetels zal winnen. Wat het maken van dit model mij wel heeft geleerd is nederig te zijn: het is maar de vraag of deze parameters genoeg voorspellend vermogen hebben om het eventuele effect uit de beperkte set aan beschikbare data te halen.

Kijk hier voor een dagelijks geüpdatet voorspelling en nog veel meer cijfers over wat er voorspeld zou zijn in het verleden en hier voor meer informatie over de methode.

Dit stuk is ook verschenen op allepeilingen.com.