Vervoerders EBS en Connexxion over hun rapportcijfer in regio Amsterdam

Met een steekproef van rond de 800 zijn die metingen veel te onnauwkeurig om waarde te kunnen toekennen aan een verandering van 0.2 of zelfs 0.1 punt – je bent dan willekeurige ruis aan het bespreken. Helaas worden er geen standaard-fout of betrouwbaarheidsinterval gemeld (kan ook niet berekend zonder standaardafwijking), maar ik neem aan dat deze minieme verschuivingen helemaal niet significant zijn. Zowel de steiging als de daling die hier uitgebreid besproken worden lijken mij niet meer dan te verwachten ruis door de wisselende steekproeven: zonde om tijd aan te besteden.

@Elmar Jansen en j.siemons
De steekproef van de OV-klantenbarometer is een meervoudig gestratificeerd: elk onderzoeksgebied heeft een target van 1.000 ingevulde enquêtes en elke tijdsperiode is vertegenwoordigd naar rato van de dienstregeling. De +/- 1.000 is nodig om op 0.1 rapportpunt nauwkeurig te rapporteren. Dan kun je verschillen tussen gebieden en verschillen in de tijd met 0.1 rapportpunt significant aantonen. Bijvoorbeeld een ontwikkeling van 7.5 naar 7.6 is dan significant. Let wel dat door afronding dit soms niet opgaat als het bijvoorbeeld van 7.49 naar 7.51 gaat. Dat is niet significant!

De standaardafwijking (standaarddeviatie) en de nauwkeurigheidsmarge is hier per concessie na te lezen.

Bron: OV-klantenbarometer pagina 48

In dit geval zijn de afwijkingen significant te noemen en dus om het serieus te nemen.

@Duco Vaillant, Vervoerregio Amsterdam

Beste Duco,

Dank voor het document en de standaardafwijkingen! Misschien moet ik er ook eerlijk bij zeggen dat ik statistiekdocent ben (in de politicologie om precies te zijn), dus dat ik hier misschien wat overkritisch ben als het op statistiek aankomt. 🙂

De stantaardafwijkingen zijn wel echt wat kleiner dan ik had verwacht (en daarmee ook de standaardfout / onzekerheid) – maar nog steeds zijn volgens mijn berekening verschuivingen voor Waterland pas significant boven de 0,11 punten (aanname beide jaren sd=1.17 en N=846, independent samples T-test), voor Zaanstad boven de 0,14 punten, voor Amstelland-Meerlanden boven de 0,13 punten en ook voor Amsterdam (bus) boven de 0,13 punten. En dat gaat alleen nog maar over de vraag of er überhaupt sprake is van een verschuiving – ook als we een verschuiving van 0,2 observeren is de foutmarge zo groot dat het ook nog steeds om zowel een heel kleine als een wat grotere verschuiving zou kunnen gaan.

Kortom, kijkend naar het verloop door de tijd heen zou ik eigenlijk vooral constateren dat tevredenheid redelijk stabiel is.

Groet, Elmar

@Elmer Jansen
Hierbij het antwoord:

De berekeningen die Elmar Jansen maakt, zijn juist en de t-test lijkt mij correct uitgevoerd. Zo zou ik het ook doen wanneer dit gevraagd zou worden.

Zoals eerder gemeld is de OV-Klantenbarometer gedimensioneerd op 1.000 waarnemingen per onderzoeksgebied. En dan kunnen we (precies) een verschil van 0,1 rapportpunt significant aantonen. In de praktijk halen we soms niet de 1.000 waarnemingen en kom je op de getallen die hij noemt. Er zijn overigens ook genoeg voorbeelden dat we het ruim halen, zoals in het Amsterdamse voor tram en metro. Daar komen we zeer veel hoger uit dan 1.000 waarnemingen per jaar.

Het feit dat er soms wel en soms niet de 1.000 gehaald wordt ligt aan de manier waarop dit onderzoek wordt uitgevoerd: een aselecte steekproef van (100) ritten is de basis en de verwachting is dat er per rit 10 ingevulde enquêtes worden verkregen. In concessies waar er minder gereisd wordt is het gevolg dat de N dan lager is. Uiteraard is dit niet wat een onderzoeker wenst. Vandaar dat wij dit jaar in samenwerking met KpVV, en regio’s waaronder de Vervoerregio Amsterdam, een project uitvoeren om voor veel meer gebieden de 1.000 te halen.

@j.siemons
Graag gedaan. 🙂