HC 5: Kwantitatief onderzoek: survey en experiment

Dit hoofdstuk behandelt de kwantitatieve kant van het methodecollege en de paragrafen 4.1, 4.3 en 4.4.2 van Vennix. Kwantitatief onderzoek hoort bij de empirisch-analytische traditie: je begint met theorie, maakt een conceptueel model, meet begrippen met betrouwbare en valide instrumenten en toetst of de veronderstelde verbanden in de werkelijkheid bestaan. Je leert wat een onderzoeksstrategie is, hoe survey en experiment werken, hoe je een steekproef trekt en waarom non-respons een probleem is. Kies je voor je onderzoeksplan een vragenlijst, dan is dit je gereedschap.

Ideeën en bewijs

Wetenschap draait om uitspraken over de werkelijkheid en de vraag of die kloppen. Ragin noemt dat de wisselwerking tussen ideas and evidence: ideeën leiden tot het zoeken naar empirisch bewijs, en bewijs kan ideeën bijstellen. Dat doen we dagelijks, maar wetenschappers zijn systematischer, kritischer en bouwen voort op bestaande kennis (cumulatie). Kuhn liet zien dat die opbouw niet lineair verloopt, maar in perioden van rust en wetenschappelijke revoluties (paradigmawisselingen).

Theoretische uitspraken (stelsels samenhangende uitspraken, theorieën) moeten worden onderscheiden van empirische uitspraken, die direct waarneembaar zijn ("deze tomaat is rood"). Empirisch onderzoek gebruikt zintuiglijke waarnemingen om na te gaan of theoretische uitspraken kloppen. Een bekend voorbeeld is de lichtafbuiging bij een zonsverduistering die een theorie van Einstein bevestigde: uit de theorie werd een voorspelling afgeleid die later empirisch werd waargenomen. Niet alle wetenschap is empirisch: wiskunde, logica en filosofie werken axiomatisch-deductief.

Inductie en deductie

Het onderzoeksproces (naar Babbie) is een cirkel met vier punten: theorie, hypothese, observatie en empirische generalisatie.

• Deductie (rechterkant): van theorie naar hypothese naar observatie. Dit is toetsend onderzoek.
• Inductie (linkerkant): van observaties naar empirische generalisaties naar theorie. Dit is theorieontwikkelend of exploratief onderzoek.
• Abductie: bij een geconstateerde regelmaat zoeken naar een hypothese die haar kan verklaren.

Boven de horizontale lijn ligt theoretisch onderzoek (zonder waarnemingen), eronder het empirische deel.

Het conceptueel model

De sociale werkelijkheid is te complex om in haar geheel te onderzoeken. Onderzoek is altijd een reductie: je onderzoekt alleen wat volgens de theorie relevant is. Daarvoor maak je een conceptueel model: een (meestal schematisch) overzicht van de veronderstelde samenhangen tussen factoren die een verschijnsel verklaren. Pijlen staan voor veronderstelde causale invloeden.

Vennix gebruikt een voorbeeld over stress (naar Christis): stressoren leiden tot stress, stress tot strain (korte termijn) en tot gezondheidsklachten (lange termijn). Die keten wordt beïnvloed door de persoon (hoe iemand ermee omgaat) en door de context. Niet bij iedereen leidt stress even sterk tot strain, en niet in elke situatie leiden stressoren tot stress.

Belangrijk: het model is niet de werkelijkheid. Het is een samenvatting van wat de onderzoeker veronderstelt en vormt het uitgangspunt voor empirisch onderzoek dat moet uitwijzen of het klopt. Het model bevat dus hypothesen. Een conceptueel model is ook iets anders dan een onderzoeksplan: het plan beschrijft hoe je het onderzoek uitvoert.

Een conceptueel model bevat drie elementen:

1. Begrippen die meestal niet direct waarneembaar zijn en dus geoperationaliseerd moeten worden;
2. impliciet de onderzoekseenheid: datgene waarover je een uitspraak doet (in het stressvoorbeeld: werknemers);
3. Veronderstelde relaties tussen eigenschappen (meer regelmogelijkheden, minder stress).

Operationaliseren, validiteit en betrouwbaarheid

Operationaliseren is het vertalen van theoretische begrippen naar empirisch waarneembare zaken: een meetinstrument ontwikkelen. Zelfs een eenvoudig begrip als inkomen vraagt keuzes: bruto of netto, met of zonder bonus? Bij "etnische vooroordelen" of "politieke voorkeur" is het nog moeilijker, en direct vragen levert sociaal wenselijke antwoorden op. Een fout in deze stap maakt het hele onderzoek vrijwel waardeloos.

Validiteit hangt direct samen met operationalisatie. Een instrument kan betrouwbaar zijn (steeds hetzelfde) maar niet valide (steeds het verkeerde meten).

Bij de vertaling van model naar empirie leg je drie dingen vast: een operationele definitie van de onderzoekseenheden (wie hoort erbij: ook werknemers die minder dan 20 uur werken?), de operationalisatie van begrippen tot meetbare variabelen en een analysemodel: gaat het om causale relaties, om samenhang, of om verschillen tussen groepen?

Blijkt het model niet te kloppen, dan verwerp je het niet meteen (dat heet naïef falsificationisme). Je vraagt je af of de theorie moet worden aangepast of dat het onderzoek tekortschoot.

Onderzoeksstrategie of onderzoeksdesign

Een onderzoeksdesign is volgens Ragin een plan om bewijs te verzamelen en te analyseren waarmee je je vragen kunt beantwoorden: een strategie of actieplan van vraag naar conclusie. Er zijn drie basisdesigns: experiment, survey en casestudy. Experiment en survey worden met de kwantitatieve traditie geassocieerd en zijn in die zin "statisch"; de casestudy hoort bij kwalitatief onderzoek en richt zich op processen in de tijd.

Het experiment

In een experiment manipuleert de onderzoeker de onafhankelijke variabele: de ene groep krijgt een behandeling (X), de andere niet. Deelnemers worden aselect (R, random) over de groepen verdeeld, zodat de groepen vooraf vergelijkbaar zijn. O staat voor een meting (observatie). Twee designs uit het college:

• Klassiek experiment: R, twee groepen, beide een voormeting (O), alleen de experimentele groep krijgt X, beide een nameting. Het verschil in verandering tussen de groepen is het effect.
• Solomon-viergroependesign: twee extra groepen zonder voormeting (één met en één zonder X). Zo kun je nagaan of de voormeting zelf de uitkomst beïnvloedt.

Een voorbeeld uit het college: proefpersonen beoordelen dezelfde voetbalbeelden van mannen en vrouwen, de ene keer met zichtbaar geslacht, de andere keer onherkenbaar gemaakt. Zo kan worden getoetst of informatie over geslacht het kwaliteitsoordeel beïnvloedt.

Een experiment is sterk in interne validiteit: omdat je alles controleert, kun je goed concluderen dat X het effect veroorzaakt. Het nadeel is de externe validiteit: in een kunstmatige laboratoriumsituatie is het de vraag of de resultaten gelden voor echte situaties. Bovendien kun je niet alles manipuleren: leeftijd of geslacht wijs je niet toe.

De survey

Als manipuleren niet kan, kun je bij een survey groepen achteraf opsplitsen op een kenmerk (bijvoorbeeld jong en oud) en vergelijken. Een survey is empirisch onderzoek naar een groot aantal vergelijkbare objecten, met gegevens uit werkelijke situaties die statistisch worden verwerkt. De objecten hoeven geen mensen te zijn: ook boeken, banken of treinstellen kunnen onderzoekseenheden zijn. Bij mensen gebruik je meestal een vragenlijst (enquête). Het Centraal Bureau voor de Statistiek doet veel surveys bij bedrijven, en hoofdstuk 4.1 (de census onder 21.487 Australische bedrijven) is ook een voorbeeld.

Populatie en steekproef

Omdat de hele populatie vaak te groot is (bijvoorbeeld 100.000 inwoners van een stad), onderzoek je een steekproef en generaliseer je naar de populatie. Zekerheid heb je alleen als je de hele populatie onderzoekt, maar met een goed getrokken steekproef kun je de kans berekenen dat je resultaat voor de populatie geldt.

• Theoretische populatie: alle eenheden die in principe onderzocht kunnen worden.
• Operationele populatie: het segment dat je feitelijk kiest (bijvoorbeeld werknemers met minstens een dag per week dienstverband).
• Steekproefkader: de lijst waaruit je trekt, zoals een bevolkingsregister. Die lijst is nooit perfect, wat vertekening kan geven.

Steekproefgrootte

Een veelgehoord misverstand is dat een steekproef een bepaald percentage van de populatie moet zijn. De benodigde omvang hangt af van de spreiding (homogeniteit) in de populatie: als iedereen even oud is, volstaat één persoon om de gemiddelde leeftijd te kennen; bij grote verschillen heb je veel meer mensen nodig. Hoe zekerder je wilt zijn (99% in plaats van 95%), hoe groter de steekproef. Een betrouwbaarheidsinterval zegt bijvoorbeeld: als je 100 aselecte steekproeven trekt, ligt in 95 daarvan het gemiddelde tussen bepaalde grenzen.

Non-respons

Bij schriftelijke enquêtes komt vaak maar ongeveer 30% terug. Non-respons kan resultaten flink vertekenen. Het verdubbelen van de steekproef lost dat niet op: als juist een bepaalde groep (bijvoorbeeld werkende studenten, die weinig tijd hebben) niet reageert, blijft die groep ook in een twee keer zo grote steekproef ontbreken. Wat wel helpt: nagaan waarom mensen niet meedoen, interviewers trainen, niet direct opgeven, vooraf een introductiebrief sturen, en respondenten en non-respondenten vergelijken op bekende kenmerken (zoals leeftijd en geslacht). Ook dan blijft de aanname dat ze op andere punten niet verschillen onzeker.

Toepassing op het cursusboek

In opdracht 5 bepaal je steekproef en populatie van twee hoofdstukken. Hoofdstuk 4.1: een vragenlijst aan 21.487 bedrijven uit een nationaal register; populatie: organisaties in Australië. Dat is kwantitatief en maakt uitspraken over gewicht van drijfveren mogelijk. Hoofdstuk 2.3: tien ondernemers, gekozen omdat ze een brede kijk op duurzaam ondernemen hanteerden; dat is kwalitatief en niet aselect.